Understanding the Interplay between LLMs' Utilisation of Parametric and Contextual Knowledge: A keynote at ECIR 2025

Diese Keynote-Präsentation für ECIR 2025 untersucht das Zusammenspiel zwischen parametrischem und kontextuellem Wissen in Sprachmodellen, wobei der Fokus auf der Diagnose von Wissenskonflikten und der Bewertung liegt, wie Modelle kontextuelle Informationen nutzen oder ignorieren.

Das Wesentliche

🧠 Der große Kampf im Kopf der KI: Was weiß sie wirklich?

Stell dir vor, eine große Sprach-KI (ein sogenanntes LLM) ist wie ein extrem gut gebildeter, aber manchmal sturer Schüler. Dieser Schüler hat in seiner Schulzeit (dem Training) riesige Mengen an Wissen aus Büchern und dem Internet auswendig gelernt. Dieses Wissen sitzt fest in seinem Gehirn – wir nennen das parametrisches Wissen.

Aber das Leben ändert sich! Fakten werden aktualisiert, neue Entdeckungen gemacht, und manchmal war der Schüler auch einfach falsch informiert. Wenn wir dem Schüler heute eine Frage stellen, passiert oft Folgendes: Wir geben ihm ein neues Buch (den Kontext) mit, das die korrekte, aktuelle Antwort enthält.

Das Problem? Der Schüler ignoriert das neue Buch oft einfach, weil er so fest an das glaubt, was er schon auswendig gelernt hat. Oder schlimmer noch: Er ist sich selbst nicht sicher, weil er in seinem alten Gedächtnis widersprüchliche Informationen hat.

In ihrem Vortrag erklärt Isabelle Augenstein genau dieses Durcheinander und wie wir es verstehen können. Hier sind die vier wichtigsten Punkte, einfach erklärt:

1. Wo sitzt das Wissen eigentlich? (Die Suche nach dem "Wissens-Schalter")

Früher dachten Forscher, das Wissen einer KI stecke in bestimmten Neuronen (den "Gehirnzellen") wie in einem Schrank. Man könnte also sagen: "Schalte Neuron 42 aus, und die KI vergisst, wer der Präsident ist."

Die neue Erkenntnis: Das ist nicht so einfach. Es ist eher so, als würde man versuchen, ein Rezept zu finden, indem man einzelne Zutaten aus der Küche wirft. Die Forscher haben herausgefunden, dass das Wissen viel diffuser verteilt ist. Wenn man versucht, das Wissen nur durch das "Ausschalten" bestimmter Neuronen zu ändern, passiert oft gar nichts. Das Wissen ist eher wie ein Gewebe, das sich durch das ganze Gehirn zieht, als wie einzelne, isolierte Schalter.

2. Der Streit im Kopf: Alte Gewohnheiten vs. Neue Fakten

Manchmal ist der Schüler nicht nur stur, sondern auch verwirrt.

• Der innere Konflikt: Der Schüler hat in seinem alten Gedächtnis zwei widersprüchliche Fakten (z. B. "Die Hauptstadt ist X" und "Die Hauptstadt ist Y"). Das nennt man Intra-Gedächtnis-Konflikt. Er ist unsicher und zittert bei der Antwort.
• Der äußere Konflikt: Wir geben ihm ein neues Buch (Kontext), das sagt: "Die Hauptstadt ist Z!" Aber der Schüler sagt: "Nein, in meinem alten Buch stand X!" Das nennt man Kontext-Gedächtnis-Konflikt.

Die überraschende Entdeckung: Man dachte, der Schüler würde sich bei wichtigen, sich ändernden Fakten (wie "Wer ist der aktuelle Premierminister?") eher auf das neue Buch verlassen. Aber das Gegenteil ist der Fall!
Der Schüler ist bei statischen, sich nie ändernden Fakten (wie "Wie viele Beine hat eine Spinne?") viel leichter zu überreden, das neue Buch zu akzeptieren. Bei dynamischen Fakten, die sich oft ändern, hält er stur an seinem alten, oft falschen Wissen fest. Er ist also bei "einfachen" Fakten überraschend leichtgläubig, aber bei "aktuellen" Nachrichten stur.

3. Der Lese-Spion (RAG): Wann liest die KI wirklich nach?

Um das Problem zu lösen, nutzen wir oft RAG (Retrieval-Augmented Generation). Das ist wie ein Assistent, der für den Schüler schnell im Internet nachschaut, bevor er antwortet.
Die Forscher haben untersucht: Wann liest der Schüler den Zettel des Assistenten wirklich, und wann ignoriert er ihn?

• Der "Klartext"-Effekt: Wenn der Zettel des Assistenten sehr direkt, selbstbewusst und klar geschrieben ist ("Das ist so und so!"), liest der Schüler ihn gerne.
• Der "Quellen"-Effekt: Wenn der Zettel nur sagt "Laut Quelle X...", ist der Schüler weniger beeindruckt.
• Die Längen-Falle: Wenn der Zettel zu lang ist, wird der Schüler ungeduldig und liest ihn nicht mehr ganz.
• Die Realität: Viele Tests mit künstlichen Daten haben gezeigt, dass KIs super sind, Kontext zu nutzen. Aber in der echten Welt ist das viel schwieriger. Die KIs sind oft noch zu stur oder zu unkonzentriert, um das neue Wissen wirklich zu integrieren.

4. Die große Lektion: Wir müssen neu lernen, wie wir fragen

Der Vortrag endet mit einer wichtigen Botschaft: Wir denken oft, KI sei wie ein allwissender Gott, der einfach "denkt". Aber in Wirklichkeit ist sie eher wie ein Mensch, der viel auswendig gelernt hat, aber schlecht im logischen Schlussfolgern ist.

• Sie kann Fakten perfekt zitieren (wie ein Papagei), aber sie versteht sie nicht immer.
• Wir müssen lernen, dass wir nicht einfach nur "mehr Kontext" geben müssen, sondern dass wir verstehen müssen, wie die KI diesen Kontext verarbeitet.

Das Fazit in einem Bild:
Stell dir die Forschung wie das Aufsteigen einer Schnecke vor (ein Zitat von Karen Spärck Jones, die hier geehrt wurde). Wir drehen uns vielleicht im Kreis und sehen alte Probleme wieder, aber jedes Mal sind die Werkzeuge besser und die Kleidung, die wir tragen, passt besser. Wir steigen nicht im Kreis herum, sondern auf einer Spirale nach oben. Wir verstehen die KI langsam besser, auch wenn sie uns noch viele Fragen stellt.

---

Zusammengefasst: Die KI ist ein starker, aber manchmal sturer Schüler. Sie ignoriert manchmal neue Informationen, weil sie an alten (und manchmal falschen) Gewohnheiten festhält. Um sie besser zu machen, müssen wir verstehen, wann sie zuhört und warum sie manchmal den Kopf schüttelt. Es ist ein langer Weg, aber wir machen Fortschritte!

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des vorliegenden Keynote-Extended-Abstracts von Isabelle Augenstein auf Deutsch.

Titel: Verständnis des Zusammenspiels zwischen der Nutzung parametrischer und kontextueller Kenntnisse durch LLMs

1. Problemstellung

Sprachmodelle (LLMs) speichern Wissen in ihren Parametern (Gewichten), das als parametrisches Wissen bezeichnet wird. Dies führt zu mehreren fundamentalen Herausforderungen:

• Aktualisierungsprobleme: Das Aktualisieren oder Korrigieren dieses Wissens erfordert ein teures Neutrainieren des gesamten Modells.
• Halluzinationen und Faktenfehler: LLMs neigen dazu, bei wissensintensiven Aufgaben zu halluzinieren, insbesondere wenn sie keinen Zugriff auf externe Wissensdatenbanken haben.
• Kontextignoranz: Obwohl Retrieval-Augmented Generation (RAG) eingeführt wurde, um kontextuelles Wissen bereitzustellen, ignorieren LLMs dieses oft, wenn es im Konflikt mit ihrem parametrischen Gedächtnis steht.
• Wissenskonflikte: Es gibt zwei Arten von Konflikten:
  1. Intra-Memory-Konflikt: Widersprüchliches Wissen innerhalb der Trainingsdaten des Modells selbst.
  2. Context-Memory-Konflikt: Widersprüche zwischen dem bereitgestellten Kontext und dem im Modell verankerten Wissen.
• Forschungslücke: Es ist unzureichend verstanden, wann und wie ein LLM kontextuelles Wissen gegenüber parametrischem Wissen priorisiert und welche Faktoren diesen Prozess steuern.

2. Methodik und Forschungsansätze

Die Arbeit präsentiert eine Reihe von Studien, die verschiedene Aspekte dieses Zusammenspiels untersuchen:

• Einheitliches Evaluierungsframework für Attribution (Yu et al., 2024):

  • Ziel ist es, zu verstehen, welche parametrischen Kenntnisse (spezifische Trainingsinstanzen vs. Neuronen) zu einer Vorhersage führen.
  • Es wird ein Framework entwickelt, das Instance Attribution (Einfluss von Trainingsdaten) und Neuron Attribution (Einfluss von Neuronen-Aktivierungen, speziell in MLP-Schichten) vergleicht und abgleicht.
  • Es werden Faithfulness-Tests (Treue-Tests) durchgeführt, um die Suffizienz (Aktivierung wichtiger Neuronen) und Vollständigkeit (Unterdrückung wichtiger Neuronen) zu bewerten.

• Aufdeckung von Wissenskonflikten mittels Probing (Marjanovic et al., 2024):

  • Nutzung des Datensatzes DynamicQA, der statische Fakten, temporale Fakten (sich ändernd) und anfechtbare Fakten (perspektivenabhängig) enthält.
  • Messung von Konflikten durch:
    • Semantische Entropie: Zur Quantifizierung von Unsicherheit im parametrischen Gedächtnis (Intra-Memory-Konflikt).
    • Coherent Persuasion Score: Ein Maß, das die semantische Verschiebung der Ausgabe bei Vorliegen konkurrierenden Kontexts misst (Context-Memory-Konflikt).

• Realitätscheck für RAG und Kontextnutzung (Hagström et al., 2025):

  • Einführung des Datensatzes DRUID (Real-World Claim Verification), der reale Kontexte im Gegensatz zu synthetischen Daten verwendet.
  • Entwicklung einer neuen Metrik namens ACU (Actual Context Utilisation), um zu messen, wie stark LLMs tatsächlich auf den bereitgestellten Kontext zurückgreifen.
  • Untersuchung verschiedener Context Manipulation Techniques (CMT), von einfachen Prompts bis hin zu mechanistischen Eingriffen, um Konflikte zu lösen.

3. Wichtige Ergebnisse

• Attribution und Modellarchitektur:

  • Die meisten MLP-Neuronen können entfernt werden, ohne die Vorhersagen signifikant zu ändern; dies widerspricht der Annahme, dass das meiste Wissen in diesen Neuronen gespeichert ist. Stattdessen scheinen Attention-Gewichte eine entscheidendere Rolle bei der Kodierung von Wissen zu spielen.
  • Das Fine-Tuning mit "einflussreichen" Trainingsinstanzen (basierend auf Instance Attribution) führt nicht zu besseren Ergebnissen als zufälliges Sampling, da die einflussreichen Instanzen oft eine geringere Diversität aufweisen.
  • Die Kombination von Instance- und Neuron-Attribution ist jedoch effektiv zur Entdeckung von Datensatz-Artefakten (Overfitting auf lexikalische Muster).

• Dynamik von Fakten und Überzeugungskraft:

  • Paradoxer Befund: LLMs lassen sich von manipuliertem Kontext bei statischen Fakten (die sich nie ändern) leichter überzeugen als bei dynamischen Fakten.
  • Tatsächlich sind sich Modelle bei sich ändernden Fakten (hohe Dynamik) weniger bereit, ihr parametrisches Wissen durch Kontext zu aktualisieren.
  • Die Fakten-Dynamik ist ein stärkerer negativer Indikator für die Akzeptanz von Kontext als die Popularität der Fakten (die bisher oft als Leitlinie für RAG diente).

• Kontextnutzung in RAG (DRUID-Studie):

  • Synthetische Datensätze übertreiben die Häufigkeit von Wissenskonflikten und die "Kontext-Abstoßung" im Vergleich zu realen Szenarien.
  • Hohe Kontextnutzung wird beobachtet bei:
    • Quellen aus Faktenprüfungen (assertive Sprache).
    • Dokumenten, die nach der Behauptung veröffentlicht wurden.
    • Direkten Diskussionen von Behauptungen mit mehreren Argumenten.
  • Niedrige Kontextnutzung tritt auf bei:
    • Verweisen auf externe Quellen.
    • Langen Kontexten (geringere Treue).
    • Kontexten mit geringer Ähnlichkeit zur Query (schwer in realen RAG-Szenarien zu erreichen).
  • Bei Claim Verification (Faktenprüfung) führen Konflikte oft dazu, dass Modelle kontextuelles Wissen bevorzugen. Bei Common-Sense-Fragen (weniger Konflikte) verlassen sie sich eher auf ihr parametrisches Gedächtnis.

• Modellgröße und Manipulation:

  • Größere LLMs nutzen Kontext im Durchschnitt besser als kleinere.
  • Es gibt jedoch keinen "einen Gewinner" unter den Context Manipulation Techniques (CMT); die beste Technik ist modellabhängig.

4. Signifikanz und Fazit

Diese Arbeit liefert einen kritischen "Realitätscheck" für das Verständnis von RAG-basierten Systemen:

• Überwindung synthetischer Verzerrungen: Sie zeigt auf, dass synthetische Evaluierungen oft unrealistische Szenarien (wie häufige Konflikte) simulieren, die in der Praxis seltener sind, aber deren Verständnis für die Entwicklung robusterer Modelle essenziell ist.
• Neue Metriken und Datensätze: Die Einführung von DynamicQA, DRUID und Metriken wie ACU und Coherent Persuasion Score bietet neue Werkzeuge, um die Interaktion zwischen parametrischem und kontextuellem Wissen präziser zu messen.
• Richtungsweisende Erkenntnisse: Die Erkenntnis, dass LLMs bei statischen Fakten anfälliger für Kontext-Manipulation sind als bei dynamischen, zwingt zu einer Neubewertung von RAG-Strategien, insbesondere in Domänen mit geringer Gewissheit.
• Interdisziplinäre Notwendigkeit: Die Komplexität dieser Probleme erfordert eine enge Zusammenarbeit zwischen Information Retrieval (IR) und Natural Language Processing (NLP), um die "Black Box" der Kontextnutzung in LLMs zu durchdringen.

Zusammenfassend unterstreicht die Keynote, dass das Verständnis der inneren workings von LLMs und deren Umgang mit Kontext noch weitgehend ungelöst ist und dass Forschungsergebnisse oft mehr Fragen aufwerfen, als sie beantworten – ein Prozess, der als spiralförmige Ascension (im Sinne von Karen Spärck Jones) beschrieben wird.