How Language Models Conflate Logical Validity with Plausibility: A Representational Analysis of Content Effects

Probleemstelling

Grote Taalmodellen (LLMs) vertonen, net als mensen, inhoudseffecten (content effects): een bias waarbij de plausibiliteit (de werkelijke waarheid in de wereld) van de semantische inhoud van een redeneringsprobleem de beoordeling van de logische geldigheid beïnvloedt.

• Logische geldigheid hangt uitsluitend af van de structuur van het argument (geldt de conclusie noodzakelijk uit de premises?).
• Plausibiliteit hangt af van feitelijke waarheid in de realiteit.

Hoewel dit fenomeen bij mensen vaak wordt verklaard door de dual-process theory (systeem 1 vs. systeem 2), blijven de onderliggende mechanismen in LLMs onduidelijk. De auteurs stellen de hypothese dat LLMs deze twee concepten verwarren omdat ze in de interne representatieruimte van het model geometrisch met elkaar verweven (entangled) zijn.

Methodologie

De auteurs gebruiken een representatieve analyse gebaseerd op de linear representation hypothesis, die stelt dat hoogwaardige concepten lineair gecodeerd zijn in de latente ruimte van LLMs.

1. Datasets en Taken:

   • Er werd een dataset van 1.280 syllogismen gebruikt, variërend in logische geldigheid (geldig/ongeldig) en plausibiliteit (plausibel/implausibel).
   • Er werden twee hoofdtaken uitgevoerd: Logische geldigheid classificatie en Plausibiliteit classificatie (waarheid in de echte wereld).
   • Er werden ook controletaken gebruikt (hyperoniem/hyponiem en schadelijk/on schadelijk) om te verifiëren dat de effecten specifiek zijn voor geldigheid en plausibiliteit.
   • Experimenten werden uitgevoerd op modellen uit de Qwen-2.5, Qwen-3 en Gemma-3 families (4B tot 32B parameters), zowel in zero-shot als Chain-of-Thought (CoT) settings.

2. Representatie-Analyse:

   • Richtingsvectoren: Voor elke laag $l$ werden vectoren berekend als het verschil in gemiddelde activatie tussen positieve en negatieve klassen (bijv. $\mu_{valid} - \mu_{invalid}$).
   • Stuurvectoren (Steering Vectors): Deze vectoren werden gebruikt om het gedrag van het model te manipuleren door ze toe te voegen aan of af te trekken van de activaties in de verborgen lagen.
   • Metriek Content Effect (CE): Een maatstaf die kwantificeert hoe sterk de plausibiliteit de beoordeling van geldigheid beïnvloedt (waarbij 1 volledige bias betekent en 0 onafhankelijkheid).

3. Experimenten:

   • Steering Power (SP): Meten hoe effectief een vector de voorspelling van het model kan omkeren.
   • Cosine Similariteit: Het meten van de hoek tussen de geldigheidsvector en de plausibiliteitsvector.
   • Causale Interventie: Het testen of het sturen met een plausibiliteitsvector de geldigheidsbeoordeling beïnvloedt (en vice versa).
   • Debiasing: Het construeren van een "taak-differentie vector" ($\mu_{V} - \mu_{P}$) om de concepten te ontkoppelen.

Belangrijkste Bijdragen en Resultaten

1. Bevestiging van Inhoudseffecten:

   • LLMs vertonen systematische bias: ze beoordelen syllogismen met plausibele conclusies vaker als logisch geldig, zelfs als ze dat niet zijn.
   • Chain-of-Thought (CoT) prompting vermindert dit effect aanzienlijk, maar elimineert het niet volledig in alle modellen.

2. Lineaire Representatie en Geometrische Verwevenheid:

   • Zowel geldigheid als plausibiliteit worden lineair gecodeerd in de latente ruimte van de modellen.
   • De vectoren die deze concepten vertegenwoordigen, zijn sterk uitgelijnd (cosine similariteit van 0,48 tot 0,64) in de lagen waar sturen effectief is (late lagen).
   • Deze uitlijning is specifiek voor geldigheid en plausibiliteit; controlevectoren (zoals schadelijkheid) tonen geen dergelijke correlatie.

3. Correlatie tussen Representatie en Gedrag:

   • Er is een significante positieve correlatie: hoe sterker de geometrische uitlijning tussen de geldigheids- en plausibiliteitsvectoren, hoe groter het gedragsmatige content effect (bias) in het model.
   • Dit suggereert dat de bias direct voortkomt uit de manier waarop het model deze concepten intern representeert.

4. Causale Kruisbeïnvloeding:

   • Door stuurvectoren toe te passen, kan de auteurs causaal de beoordeling van geldigheid beïnvloeden door de plausibiliteitsvector te gebruiken, en vice versa.
   • Dit bewijst dat de concepten niet alleen geassocieerd zijn, maar dat ze elkaar mechanisch beïnvloeden binnen de representatieruimte.

5. Ontkoppeling en Debiasing:

   • De auteurs ontwikkelden een debiasing vector ($\mu_{V} - \mu_{P}$) die specifiek de dimensies isoleert die uniek zijn voor logische geldigheid, exclusief plausibiliteit.
   • Het toepassen van deze vector (vermenigvuldigd met een factor $\alpha = 1.5$) op de juiste laag resulteerde in:
     • Een drastische vermindering van het content effect (CE daalde van ~0,35 naar ~0,07).
     • Een verbetering of behoud van de algehele nauwkeurigheid van de redenering.
   • Dit toont aan dat het mogelijk is om de bias te verminderen zonder het model opnieuw te trainen (geen parameter updates nodig).

Significantie

Dit paper biedt een fundamenteel inzicht in waarom LLMs logische fouten maken bij redenering. In plaats van alleen te kijken naar het gedrag, onthullen de auteurs de interne mechanica: de verwarde representatie van "waarheid" en "logische structuur".

• Interpretability: Het bewijst dat abstracte logische concepten lineair en manipuleerbaar zijn in LLMs.
• Diagnose en Correctie: Het biedt een praktische methode (representational steering) om systematische fouten in LLMs te diagnosticeren en te corrigeren op inference-tijd.
• Toekomstperspectief: De bevindingen suggereren dat de bias waarschijnlijk voortkomt uit de trainingsdata, waar geldige argumenten vaak ook waarheidsgetrouw zijn. Het onderzoek opent de weg voor het creëren van betrouwbaardere redeneersystemen door representaties te ontkoppelen in plaats van alleen te vertrouwen op prompting of fine-tuning.