Technische Samenvatting: Het heroverwegen van de systematische aard van negatie in het tijdperk van In-Context Learning

Probleemstelling

Ondanks de capaciteiten van Large Language Models (LLM's) blijft het begrijpen van negatie een aanzienlijke uitdaging. Hoewel modellen vaak goed presteren op specifieke benchmarks, is hun vermogen om systematisch te generaliseren — het begrijpen van een onbegrensde set gestructureerde expressies vanuit een eindige set primitieven — twijfelachtig. Eerdere evaluaties hebben zich grotendeels gericht op gedragsmatige systematiciteit (prestaties op ongeziene inputs), waarbij vaak geen onderscheid wordt gemaakt tussen werkelijk compositioneel begrip en spuriose correlaties of memorisatie.

Bovendien is, hoewel representationele systematiciteit (de interne codering van compositionele structuur) theoretisch cruciael is voor systematische generalisatie, dit onderbelicht gebleven in de context van In-Context Learning (ICL). De meeste eerdere studies naar representationele analyse richtten zich op gepre-trainde modellen zoals BERT, waardoor de systematiciteit van ICL-gebaseerde LLM's onvoldoende is verkend. Dit artikel adresseert deze kloof door zowel de gedragsmatige als de representationele systematiciteit met betrekking tot het begrip van negatie door LLM's te analyseren.

Methodologie

De studie hanteert een benadering vanuit twee perspectieven:

1. Gedragsmatige Systematiciteitsanalyse

De auteurs evalueren LLM's in een few-shot leeromgeving om te bepalen of modellen negatie-expressies en hun reikwijdte (scope) kunnen herkennen in zinnen die woordcombinaties bevatten die niet in de demonstraties zijn voorgekomen.

• Taken:
  • Negatie-cue extractie: Het identificeren van de negatie-expressie (bijv. "niet").
  • Negatie-resolutie: Het voorspellen van de reikwijdte van de negatie (het deel van de zin dat door de cue wordt beïnvloed).
  • Baseline: Antoniem-voorspelling (gebruikt om te verifiëren of functievectoren kunnen worden geconstrueerd voor eenvoudigere taken).
• Outputformaten: Om robuustheid te testen, werd de negatie-resolutie taak geëvalueerd over vier verschillende formaten:
  • EXTRACT: Het uitvoeren van de token-sequentie binnen de reikwijdte.
  • BRACKET: Het omvatten van de reikwijdte in vierkante haken.
  • LAST-WORD: Het uitvoeren van het laatste token van de reikwijdte.
  • NER: Een sequence labeling taak (0 voor buiten de reikwijdte, 1 voor binnen de reikwijdte).
• Modellen: GPT-J-6B en Qwen3-4B.
• Dataset: Een subset van de SFU Review Corpus, gefilterd voor zinnen met negatie-cues en reikwijdtes, waarbij gewaarborgd is dat de trainings-, ontwikkel- en testsets verschillende woordcombinaties bevatten.

2. Representationele Systematiciteitsanalyse

De auteurs onderzoeken of de interne mechanismen van LLM's de taak van het begrijpen van negatie coderen als een robuuste, herbruikbare vectorrepresentatie.

• Functievectoren: Dichte vectoren geëxtraheerd uit de verborgen activaties van het model (specifiek uit een subset van aandachtskoppen geïdentificeerd via causale mediatie-analyse) die de input-output mapping samenvatten die wordt gedemonstreerd door in-context voorbeelden.
• Taakvectoren: Vectoren geëxtraheerd direct uit de residual stream activaties van een specifieke taak-representatieve tokenpositie.
• Interventie: Deze vectoren worden tijdens de inferentie in het model geïnjecteerd (zero-shot settings) om te zien of ze de doeltaak kunnen induceren zonder expliciete demonstraties.
• Evaluatie: De studie meet de zero-shot top-1 nauwkeurigheid bereikt wanneer deze vectoren worden toegepast op modellen, met een specifieke focus op testvoorbeelden waarbij de modellen correct presteerden in een 10-shot setting (om het effect van de vector te isoleren van de algemene modelcapaciteit).

Belangrijkste Resultaten

Gedragsmatige Systematiciteit

• Negatie-cue extractie: Beide modellen behaalden een nauwkeurigheid die vergelijkbaar is met de antoniem-voorspellingstaak (ongeveer 62–64%), wat suggereert dat ze gedeeltelijk kunnen leren om negatie-cues te identificeren vanuit demonstraties. De prestaties waren echter niet perfect, wat wijst op een gebrek aan volledige systematische bekwaamheid.
• Negatie-resolutie: De prestaties varieerden aanzienlijk per outputformaat. Modellen hadden aanzienlijke moeite met het NER-formaat (0% nauwkeurigheid voor beide modellen in de 10-shot setting) en het LAST-WORD formaat. Het EXTRACT formaat leverde betere resultaten op (tot 76% voor Qwen3-4B), maar over het algemeen faalden de modellen in het behalen van perfecte prestaties over de verschillende formaten, wat duidt op moeilijkheden bij het generaliseren van het concept "reikwijdte" over verschillende outputstructuren.

Representationele Systematiciteit

• Negatie-cue extractie: Functievectoren (toegepast in middelste lagen) en taakvectoren (toegepast in latere lagen) induceerden succesvol taakprestaties in zero-shot settings, met een hoge nauwkeurigheid (90% voor GPT-J-6B, 80% voor Qwen3-4B). Dit geeft aan dat de taak van het identificeren van negatie-cues robuust kan worden gecodeerd als een functievector.
• Negatie-resolutie: In contrast hiermee hadden functievectoren en taakvectoren een aanzienlijk zwakker effect op de negatie-resolutie taken (0–50% nauwkeurigheid). Hoewel er een licht sturende effect was voor de EXTRACT en LAST-WORD formaten in GPT-J-6B, faalden de vectoren over het algemeen in het robuust induceren van de taak.
• Vectorvergelijking: Taakvectoren bleken effectiever dan functievectoren voor de negatie-resolutie taken, met name in de latere lagen.

Betekenis en Claims

Het artikel claimt dat hoewel LLM's kunnen leren om negatie-cues te herkennen via in-context learning, ze moeite hebben om perfecte gedragsmatige systematiciteit te bereiken, met name wanneer het outputformaat verandert. Cruciaal is dat de representationele analyse onthult dat er een divergentie bestaat in hoe deze taken intern worden gecodeerd:

1. Cue Extractie vs. Reikwijdte Herkenning: De modellen kunnen robuuste functievectoren vormen voor het extraheren van negatie-cues, vergelijkbaar met eenvoudigere taken zoals antoniem-voorspelling. Het construeren van functievectoren voor het herkennen van de negatie-reikwijdte is echter aanzienlijk uitdagender.
2. Beperkingen van ICL: De moeilijkheid bij het vormen van robuuste vectoren voor reikwijdte-herkenning suggereert dat LLM's mogelijk niet beschikken over de gestructureerde interne representaties die nodig zijn voor systematische inferentie met betrekking tot de reikwijdte van negatie, zelfs wanneer ze in specifieke few-shot contexten correcte outputs kunnen produceren.
3. Methodologische Bijdrage: De studie benadrukt de noodzaak om verder te gaan dan gedragsmatige benchmarks naar representationele analyses (met behulp van functie/taakvectoren) om werkelijk te beoordelen of LLM's de onderliggende principes van systematische generalisatie hebben verworven.

De auteurs concluderen dat hoewel LLM's enige capaciteit vertonen voor systematisch gedrag in negatie-taken, het onvermogen om robuuste functievectoren te construeren voor reikwijdte-herkenning wijst op een fundamentele beperking in hun representationele systematiciteit voor dit specifieke linguïstische fenomeen.