Continuous Interpretive Steering for Scalar Diversity

1. Problemstellung

Die pragmatische Inferenz (die Fähigkeit, Bedeutungen zu erschließen, die über die wörtliche Aussage hinausgehen) ist ein gradueller Prozess. Ein klassisches Beispiel ist die skalare Implikatur (z. B. wird „einige" oft als „nicht alle" interpretiert). Ein zentrales Phänomen hierbei ist die skalare Diversität: Unterschiedliche lexikalische Ausdrücke lösen pragmatische Anreicherungen in unterschiedlichem Maße aus (z. B. ist die Implikatur bei „einige" stark, bei „warm" jedoch schwach).

Bisherige Evaluierungen von Large Language Models (LLMs) in Bezug auf pragmatisches Verhalten stützen sich fast ausschließlich auf Prompt-Manipulationen (Änderungen von Anweisungen oder Beispielen). Diese Ansätze haben jedoch zwei wesentliche Nachteile:

1. Sie sind oft instabil und oberflächlich (sensibel gegenüber der Formulierung).
2. Sie behandeln pragmatische Anreicherung oft als binäres Ziel (entweder pragmatisch oder wörtlich), wodurch die feinen, item-spezifischen Nuancen der skalaren Diversität verloren gehen.

Die Studie stellt die Hypothese auf, dass LLMs, um menschliches pragmatisches Verhalten zu approximieren, nicht nur in der Lage sein müssen, pragmatische Interpretationen zu generieren, sondern diese auch item-sensitiv und graduell modulieren müssen.

2. Methodik

Die Studie führt eine neue Methode namens Continuous Interpretive Steering (CIS) ein, die direkt in die internen Aktivierungen des Modells während der Inferenz eingreift, ohne die Modellgewichte zu aktualisieren.

• Aktivierungs-Steering: Anstatt den Input zu ändern, wird ein Interventionsvektor $v$ im Aktivierungsraum des Modells definiert. Für eine Eingabe $x$ wird die versteckte Repräsentation $h(x)$ wie folgt modifiziert:
  $$h'(x) = h(x) + \alpha v$$
  Dabei ist $\alpha$ ein Skalierungsfaktor, der die Stärke der Intervention kontrolliert.
• Konstruktion des Vektors: Der Vektor $v$ wird als Differenz zwischen den Repräsentationen der „pragmatischen Variante" (z. B. „nicht alle") und der „logischen Variante" (z. B. „alle") berechnet.
• Experimentelle Bedingungen:
  1. Uniforme Aktivierungs-Steering: Ein fester Vektor mit konstanter Stärke $\alpha$ wird auf alle Items angewendet. Dies dient als Kontrollbedingung, um globale Effekte zu testen.
  2. Graduierte Aktivierungs-Steering: Die Stärke $\alpha$ wird systematisch variiert, basierend auf einer vordefinierten Hierarchie (Grade A–E), die die empirische Stärke der skalaren Implikatur widerspiegelt. Dies testet, ob das Modell differenzierte Reaktionen auf Items mit unterschiedlicher pragmatischer Stärke zeigt.
• Datensatz (GraSD): Um diese Analyse zu ermöglichen, wurde ein neuer Datensatz namens GraSD (Graded Scalar Diversity) erstellt. Er basiert auf 121 Paaren schwacher/starker skalareter Ausdrücke aus vier vorherigen psycholinguistischen Studien. Durch kontextuelle Augmentierung wurden insgesamt 121.000 Instanzen generiert, die Anchor-, logische und pragmatische Varianten enthalten.

3. Wichtige Beiträge

1. Continuous Interpretive Steering (CIS): Eine methodische Neuerung, die die Steer-Stärke als kontinuierliche experimentelle Variable behandelt, um die Geometrie pragmatischer Inferenz im Repräsentationsraum zu untersuchen.
2. GraSD-Datensatz: Ein umfassender, öffentlich verfügbarer Datensatz, der graduierte skalare Diversität kodiert und speziell für die Evaluierung von LLMs konzipiert wurde.
3. Paradigmenwechsel: Der Wechsel von Prompt-basierten Evaluierungen hin zu einer direkten Analyse der internen Repräsentationen, um stabile, interne pragmatische Kompetenzen zu messen.

4. Ergebnisse

Die Experimente wurden an vier Open-Weight-Modellen (LLaMA3, Qwen2, Gemma2, OLMo) durchgeführt:

• Uniforme Steering: Führt zu einer signifikanten, globalen Zunahme pragmatischer Interpretationen im Vergleich zur Basislinie. Allerdings kollabiert diese Methode die item-spezifischen Unterschiede. Die Korrelation zwischen der ursprünglichen (Basis-)Empfindlichkeit der Items und den Ergebnissen nach der Steuerung ist nahe Null. Das Modell reagiert homogen, unabhängig davon, ob ein Item ursprünglich eine starke oder schwache Implikatur hatte.
• Graduierte Steering: Erzeugt ebenfalls eine signifikante Zunahme pragmatischer Interpretationen, behält aber die item-spezifische Struktur bei.
  • Es zeigt sich eine signifikante positive Korrelation (Spearman) zwischen der Basis-Empfindlichkeit und den Ergebnissen unter graduierter Steuerung.
  • Items mit einer höheren theoretischen pragmatischen Stärke (höhere Grade) zeigen größere Verschiebungen im Aktivierungsraum als Items mit schwacher Stärke.
  • Dies beweist, dass die Feinabstimmung der pragmatischen Sensitivität im Repräsentationsraum kodiert ist und durch kontrollierte Interventionen systematisch wiederhergestellt werden kann.

5. Bedeutung und Fazit

Die Studie zeigt, dass LLMs zwar über interne Repräsentationen verfügen, die graduierte pragmatische Sensitivität abbilden, diese jedoch durch grobe, uniforme Eingriffe (wie feste Prompts oder feste Steering-Vektoren) leicht überlagert werden können.

• Methodische Implikation: CIS bietet einen principled Rahmen, um nicht nur ob, sondern wie LLMs pragmatische Nuancen verarbeiten. Es ermöglicht eine feinkörnige Analyse, die über binäre Erfolg/Misserfolg-Metriken hinausgeht.
• Theoretische Implikation: Die Ergebnisse stützen die Annahme, dass skalare Diversität keine externe Eigenschaft ist, die erst durch Prompting erzwungen werden muss, sondern eine interne, strukturelle Eigenschaft der Modellrepräsentationen, die durch gezielte Manipulation der Aktivierungsstärke zugänglich gemacht werden kann.
• Zukunft: Der Ansatz ist nicht auf skalare Implikaturen beschränkt und kann als allgemeines Werkzeug zur Untersuchung der internen Organisation pragmatischer Inferenz in LLMs für andere Phänomene dienen.

Zusammenfassend demonstriert das Paper, dass die Fähigkeit von LLMs, menschähnliches pragmatisches Verhalten zu zeigen, nicht nur in der Fähigkeit liegt, pragmatische Antworten zu generieren, sondern in der Fähigkeit, die Stärke dieser Interpretationen präzise an die lexikalischen Eigenschaften des Inputs anzupassen.