Continuous Interpretive Steering for Scalar Diversity

Probleemstelling

De huidige evaluatie van pragmatische inferentie (zoals implicaturen) in Large Language Models (LLM's) leunt zwaar op prompt-based manipulaties (bijv. het aanpassen van instructies of voorbeelden). Deze methoden zijn echter vaak fragiel en kunnen de oppervlakte-gevoeligheid van het model meten in plaats van stabiele interne representaties.

Een specifiek tekortkoming is dat pragmatische inferentie bij mensen inherent gegradueerd is. Dit fenomeen staat bekend als scalar diversity: verschillende schaaltermen (bijv. sommige vs. enkele) leiden tot pragmatische verrijking (implicatuur) in verschillende mate. Bestaande methoden behandelen pragmatische verrijking vaak als een uniform doel, wat het risico inhoudt dat de nuance van "scalar diversity" verloren gaat. Als een model ongedifferentieerd wordt gestuurd naar pragmatische interpretaties, kan het overgenereren van verrijkte betekenissen in gevallen waar mensen slechts een zwakke implicatuur zouden hebben. Er is dus behoefte aan een methode die niet alleen kijkt of een model pragmatisch is, maar of het de gradatie in pragmatische gevoeligheid per item kan reproduceren.

Methodologie

De auteurs introduceren een nieuwe methode genaamd Continuous Interpretive Steering (CIS) en een bijbehorend dataset, GraSD.

1. GraSD (Graded Scalar Diversity Dataset):

   • Een nieuwe dataset bestaande uit 121 paren van <zwakke, sterke> schaaltermen, afgeleid van vier eerdere psycholinguïstische studies.
   • Elk paar wordt uitgebreid tot 100 gecontroleerde contextuele zinnen, resulterend in 121.000 zinsinstanties.
   • Voor elk item zijn drie varianten gedefinieerd: een anker (met de zwakke term), een logische variant (met de sterke term) en een pragmatische variant (de implicatuur, vaak de ontkenning van de sterke term).

2. Continuous Interpretive Steering (CIS):

   • In plaats van prompts te wijzigen, grijpt CIS in op de interne activaties van het model tijdens de inferentie (zonder de modelgewichten te updaten).
   • Steering Vector: Een richting in de activatieruimte wordt gedefinieerd als het verschil tussen de pragmatische en logische representaties van een item.
   • Continue Variatie: De kerninnovatie is dat de sterkte van de interventie (de coëfficiënt $\alpha$) wordt behandeld als een continue experimentele variabele.
   • Uniform vs. Graded:
     • Uniform Steering: Dezelfde sterkte ($\alpha$) wordt toegepast op alle items.
     • Graded Steering: De sterkte ($\alpha$) varieert systematisch per item, gebaseerd op hun bekende "scalar diversity" graad (van A tot E), terwijl de richting van de interventie constant blijft.

3. Experimenteel Opzet:

   • Experimenten zijn uitgevoerd op vier open-weight modellen: LLaMA3, Qwen2, Gemma2 en OLMo.
   • De interpretatieve voorkeur wordt gemeten via cosine similarity tussen de gestuurde anker-representatie en de logische/pragmatische varianten.

Belangrijkste Resultaten

De resultaten tonen een duidelijk onderscheid tussen uniforme en gegradueerde steering:

• Uniforme Activatie-Steering:

  • Verhoogt wereldwijd het percentage pragmatische interpretaties significant ten opzichte van de baseline.
  • Beperking: Het vernietigt item-niveau variatie. Er is geen correlatie tussen de oorspronkelijke voorkeuren van het model en de resultaten na steering (lage Spearman-correlaties). Het model reageert homogeen op alle items, ongeacht hun onderliggende pragmatische sterkte.

• Gegradueerde Activatie-Steering (CIS):

  • Leidt ook tot een significante verschuiving naar pragmatische interpretaties, maar behoudt de item-niveau gevoeligheid.
  • Er is een significante en positieve correlatie tussen de baseline-voorkeuren en de resultaten na gestuurde interventie.
  • Items die van nature een sterkere pragmatische implicatuur hebben, reageren sterker op de steering dan items met een zwakke implicatuur.
  • Dit bewijst dat de interne representatieruimte van LLM's de gradatie van pragmatische gevoeligheid encodeert en dat deze kan worden teruggevonden via gecontroleerde interventie.

Belangrijkste Bijdragen

1. Methodologische Innovatie (CIS): Een nieuw raamwerk dat activerings-steering gebruikt als een analytisch instrument om de geometrie van pragmatische inferentie te verkennen, in plaats van alleen als een controlemechanisme voor downstream taken.
2. Nieuwe Dataset (GraSD): Een schaalbaar, gecontroleerd dataset dat "scalar diversity" encodeert, essentieel voor het testen van nuance in pragmatisch redeneren.
3. Inzicht in Interne Representaties: Het bewijs dat LLM's niet alleen "ja/nee" pragmatisch zijn, maar dat ze een gradatie van pragmatische gevoeligheid in hun interne ruimte hebben die systematisch kan worden gemanipuleerd.

Betekenis en Conclusie

Dit onderzoek toont aan dat aggregatie-maatstaven (zoals het totale percentage correcte pragmatische antwoorden) ontoereikend zijn om pragmatische competentie te beoordelen. Een model kan "succesvol" zijn in het genereren van pragmatische antwoorden, maar dit kan het gevolg zijn van een ruwe, uniforme verschuiving die de subtiele verschillen tussen woorden verwijdert.

De studie benadrukt dat gegradueerde, item-sensitieve variatie een betere indicator is van menselijke pragmatische competentie. Door steering-strength als een continue variabele te behandelen, biedt CIS een principieel kader om te evalueren hoe LLM's pragmatische onderscheidingen intern organiseren. Dit heeft implicaties voor het begrijpen van hoe taalmodellen betekenis construeren en voor het ontwikkelen van robuustere evaluatiemethoden die verder gaan dan oppervlakkige prompt-engineering.