Technische Samenvatting: Logische Oordelen onder Druk

Probleemstelling

Betrouwbare logische redenering in large language models (LLM's) vereist meer dan alleen een hoge nauwkeurigheid op statische benchmarks; het vereist robuustheid, gedefinieerd als de stabiliteit van een oordeel wanneer de context buiten het formele probleem verandert. Hoewel modellen correcte formele oordelen kunnen produceren onder standaard prompts, kunnen ze deze oordelen vaak omkeren wanneer ze worden blootgesteld aan geoptimaliseerde context, zelfs wanneer de logische inhoud ongewijzigd blijft.

Dit artikel behandelt de vraag: Hoe overruilen geleerde contextuele druk de correcte logische oordelen, en wat zijn de grenzen van de logische stabiliteit van een model? Specifiek onderzoeken de auteurs of geoptimaliseerde "soft prefixes" een model kunnen dwingen tot het omkeren van valid-naar-invalid of unsatisfiable-naar-satisfiable oordelen, en of deze omkeringen representatief zijn voor selectieve logische bewerking of een bredere, minder interpreteerbare bias.

Methodologie

Experimenteel Kader

De studie maakt gebruik van categorische syllogismen als een gecontroleerde omgeving, omdat deze de berekening van exacte logische labels (valid/invalid, satisfiable/unsatisfiable) mogelijk maken, onafhankelijk van de natuurlijke taalformulering.

• Interventie: De auteurs voegen een korte, trainbare sequentie van continue embedding-vectoren (een soft prefix) toe aan de input-prompt van het model. De modelparameters blijven bevroren; alleen de prefix-vectoren worden geoptimaliseerd.
• Doelrichtingen: De prefixes worden getraind om specifieke omkeringen te induceren:
  1. Unsatisfiable $\to$ Satisfiable: Het converteren van een logisch inconsistente set premissen naar een set die als consistent wordt beschouwd.
  2. Valid $\to$ Invalid: Het converteren van een logisch noodzakelijke conclusie naar een conclusie die als niet-noodzakelijk wordt beschouwd.
     Noot: Deze richtingen zijn gekozen omdat, onder standaard monotone logica, het toevoegen van informatie een inconsistente set niet satisfiabel kan maken of een noodzakelijke consequentie niet ongeldig kan maken. Een succesvolle omkering duidt daarom op een fout in het oordeel van het model in plaats van op een legitieme logische update.

Modellen en Data

• Modellen: Experimenten werden uitgevoerd op Qwen3.6-35B-A3B MoE, Qwen3-8B, en Gemma 4 31B.
• Dataset: Een benchmark van 256 logische vormen, elk weergegeven in vier bewoordingsstijlen (betekenisvolle woorden, herhaalde woorden, eenvoudige symbolen, willekeurige reeksen letters).
• Splitsingen: Vormen zijn verdeeld in trainings-, ontwikkelings- en testsets. Cruciaal is dat prefixes getraind zijn op één set logische vormen en worden geëvalueerd op ongeziene logische vormen om generalisatie te testen.

Diagnostische Controles

Om de opake aard van soft prefixes te interpreteren, gebruiken de auteurs een reeks controles:

1. Gerandomiseerde Antwoordmapping: Om onderscheid te maken tussen het forceren van een vast symbool (bijv. altijd "A") versus een voorkeur voor een specifieke betekenis van een antwoord (bijv. "satisfiable").
2. Gematched Willekeurige Prefixes: Willekeurige vectoren met dezelfde norm als de geleerde prefixes om te testen of het effect een generieke gevoeligheid voor toegevoegde context is.
3. Leesbare Tekstcontroles: Neutrale zinnen om te testen of korte, irrelevante tekst vergelijkbare effecten produceert.
4. Scoremodellen: Statistische modellen die zijn aangepast om de verandering in antwoordmarges ($\Delta$) te voorspellen op basis van de ongeprefixed marge en de antwoordklasse, waarbij wordt getest of het prefix-effect een eenvoudige verschuiving in score is of een complexe, voorbeeld-afhankelijke transformatie.
5. Activatie Patching: Het kopiëren van activaties uit ongeprefixed runs naar geprefixed runs bij specifieke transformer-lagen om te identificeren waar de verandering in het antwoord kan worden onderbroken.

Belangrijkste Resultaten

1. Hoge Transferabiliteit en Effectiviteit

Geleerde soft prefixes sturen correcte oordelen succesvol om op ongeziene logische vormen en onder nieuwe bewoordingen of geherformuleerde prompts.

• Flip Rates: Over de modellen heen keren geleerde prefixes 72%–90% van de doelgerichte antwoorden om voor Qwen3.6 MoE, 53%–72% voor Qwen3-8B, en 40%–56% voor Gemma 4 31B.
• Vergelijking met Controles: Geleerde prefixes presteren in alle 16 model–richting–splits-vergelijkingen 37 tot 99 procentpunten beter dan gematched willekeurige controles. Voor Gemma behouden geleerde prefixes een flip rate van ~55% onder nieuwe bewoordingen, terwijl gematched willekeurige prefixes onder de 1% blijven.
• Schade: De interventie veroorzaakt minimale schade aan de niet-doelgerichte klasse (vaak <2%), waardoor de correctheid van het model in de andere logische categorie behouden blijft.

2. Aard van het Effect: Brede Voorkeur vs. Logische Bewerking

De diagnostische tests onthullen dat het dominante mechanisme niet selectieve logische bewerking of het forceren van een vast symbool is.

• Betekenis van het Antwoord: De prefixes induceren een brede voorkeur voor een specifieke betekenis van een antwoord (bijv. "satisfiable") in plaats van een vast token. Dit blijkt uit de hoge flip rates, zelfs wanneer de antwoordlabels (A/B) per voorbeeld gerandomiseerd zijn.
• Scoremodellen:
  • Gemma: Het antwoord van het model wordt goed benaderd door eenvoudige scoretransformaties (bijv. een uniforme verschuiving of affine transformatie). De scoremodellen voorspellen zowel welke antwoorden omkeren als hoe ver de marges verschuiven met hoge nauwkeurigheid ($R^2 \approx 0.8$).
  • Qwen: Hoewel de modellen voorspellen welke oordelen de beslissingsgrens zullen overschrijden, falen ze in het voorspellen van de grootte van de margeverschuiving. Dit suggereert dat de kwetsbaarheid van Qwen heterogeen is over voorbeelden, terwijl die van Gemma globaal gestructureerd is.

3. Richtingsspecifieke Asymmetrie en Taaktransfer

• Directionaliteit: Het effect is sterk richtinggevoelig. Omkeringen van minderheid-naar-meerheid antwoorden (bijv. Valid $\to$ Invalid) zijn zeer effectief. Omgekeerde richtingen (Invalid $\to$ Valid) vertonen significant lagere flip rates (bijv. 7,9%–39,8%), wat aangeeft dat de prefixes geen algemene logische operatie implementeren, maar eerder een bias naar een specifieke antwoordklasse.
• Taaktransfer: Prefixes die getraind zijn voor validiteit dragen niet betrouwbaar over naar satisfiability-taken, en vice versa, wat verder suggereert dat het effect geen gedeelde logische operator is.

4. Activatieanalyse

• Interne Verschillen: Geleerde prefixes produceren aanzienlijk grotere veranderingen in de staat van de antwoordtokens en de scoremarges vergeleken met norm-gematchte willekeurige prefixes.
• Onderbreking: Activatie patching laat zien dat de verandering in het antwoord het meest betrouwbaar kan worden onderbroken door de all-prompt-token staat te herstellen in de laatste niet-finale laag (waarbij 74–82% van de verandering wordt hersteld). Het herstellen van enkel de syllogisme-tokens of het antwoordtoken alleen heeft een verwaarloosbaar effect, wat suggerekert dat de prefix de uiteindelijke beslissing beïnvloedt via een brede integratie van de prompt-context in plaats van via een gelokaliseerd logisch circuit.

Belangrijkste Bijdragen

1. Gecontroleerde Stress-test: Introduceerde een framework voor het testen van de logische stabiliteit met exact gelabelde syllogismen, bevroren modellen en geoptimaliseerde soft prefixes, waarbij onderscheid wordt gemaakt tussen nauwkeurigheid en robuustheid.
2. Functionele Interpretatie van Opake Prefixes: Bood een functionele karakterisering van soft prefixes, waarbij onderscheid wordt gemaakt tussen het forceren van vaste symbolen, brede semantische antwoordbias en taakspecifieke limieten.
3. Cross-Model Gedragsverschillen: Identificeerde dat hoewel de geaggregeerde flip rates vergelijkbaar kunnen lijken, modellen fundamenteel verschillen in de regelmaat en voorspelbaarheid van hun falen. De respons van Gemma is globaal gestructureerd en voorspelbaar via scoremodellen, terwijl die van Qwen heterogeen en minder voorspelbaar is in grootte.

Betekenis en Claims

Het artikel claimt dat succesvolle soft prefixes primair een brede voorkeur voor één antwoordbetekenis induceren, in plaats van selectieve logische bewerkingen uit te voeren of overdraagbare logische operaties te implementeren.

De auteurs benadrukken dat:

• Geaggregeerde metrieken misleidend kunnen zijn: Vergelijkbare flip rates kunnen fundamentele verschillen verbergen in hoe modellen reageren op contextuele druk (gestructureerd vs. heterogeen).
• Logische stabiliteit fragiel is: Zelfs modellen met een hoge baseline nauwkeurigheid kunnen systematisch worden omgeleid door geleerde context die logisch irrelevant is.
• Methodologische waarde: Het framework biedt een diagnostisch instrument om de logische stabiliteit te meten en de specifieke soorten contextuele druk te identificeren die correct redeneren overruelen.

Het artikel claimt niet dat het de interne redeneercircuits van deze modellen heeft ontdekt, noch stelt het dat deze bevindingen generaliseren naar alle vormen van redeneren. In plaats daarvan biedt het een bescheiden, gedragsmatige karakterisering van hoe geleerde context interacteert met logische stabiliteit in huidige LLM-architecturen.