How Language Models Conflate Logical Validity with Plausibility: A Representational Analysis of Content Effects

1. Il Problema: Effetti di Contenuto e Bias Cognitivo

Il lavoro affronta il fenomeno degli "effetti di contenuto" (content effects) nei Large Language Models (LLM). Sia negli esseri umani che nelle LLM, la plausibilità semantica del contenuto di un problema di ragionamento influenza il giudizio sulla sua validità logica.

• Definizione: Un argomento è logicamente valido se la conclusione segue necessariamente dalle premesse, indipendentemente dalla verità fattuale delle premesse stesse. È plausibile se la conclusione corrisponde alla realtà del mondo.
• Il Bias: Le LLM tendono a classificare come "validi" argomenti che hanno conclusioni plausibili (anche se logicamente errati) e a scartare argomenti validi ma con conclusioni implausibili.
• Gap di Conoscenza: Mentre negli umani questo fenomeno è spiegato dalla teoria del doppio processo (Sistema 1 intuitivo vs Sistema 2 analitico), i meccanismi interni che causano questo bias nelle LLM rimangono poco chiari.

2. Metodologia: Analisi Rappresentazionale e Steering

Gli autori adottano un approccio basato sull'ipotesi della rappresentazione lineare, che postula che concetti ad alto livello siano codificati linearmente nello spazio latente delle LLM.

• Dataset: È stato utilizzato un dataset di 1.280 sillogismi, coprendo tutte le 64 combinazioni possibili della logica sillogistica classica. I sillogismi sono stati classificati in quattro categorie incrociate:
  1. Validi + Plausibili
  2. Validi + Implausibili
  3. Invalidi + Plausibili
  4. Invalidi + Implausibili
• Modelli Testati: Sono stati analizzati 10 modelli diversi delle famiglie Qwen-2.5, Qwen-3 (modelli "thinking") e Gemma-3, con parametri che variano da 4B a 32B.
• Tecniche di Analisi:
  • Vettori di Concetto: Per ogni concetto binario (Validità, Plausibilità, Harmlessness, Iperonimia), è stato calcolato un vettore direzionale come differenza delle medie delle attivazioni nascoste tra la classe positiva e quella negativa ($v = \mu_{pos} - \mu_{neg}$).
  • Steering (Guida): I vettori estratti sono stati aggiunti o sottratti alle attivazioni interne del modello durante l'inferenza per osservare come cambiano le previsioni.
  • Metriche:
    • Content Effect (CE): Una metrica che quantifica quanto la plausibilità distorce il giudizio di validità.
    • Steering Power (SP): La capacità di un vettore di invertire la previsione del modello.
    • Similarità Cosine: Misura l'allineamento geometrico tra i vettori di validità e plausibilità.

3. Contributi Chiave e Risultati

A. Esistenza e Misurazione degli Effetti di Contenuto

• Le LLM mostrano un bias significativo negli setting zero-shot (CE alto, fino a 0.418).
• L'uso del Chain-of-Thought (CoT) riduce drasticamente il bias (CE vicino a 0), suggerendo che il ragionamento esplicito aiuta a separare la struttura logica dal contenuto semantico.

B. Entanglement Geometrico tra Validità e Plausibilità

• Rappresentazione Lineare: Sia la validità che la plausibilità sono rappresentate linearmente negli strati tardivi del modello (dove lo steering è più efficace).
• Allineamento Forte: I vettori che rappresentano la validità e la plausibilità sono geometricamente allineati (similarità del coseno tra 0.48 e 0.64). Al contrario, vettori di concetti di controllo (come "harmlessness" o "iperonimia") mostrano una similarità trascurabile o negativa con la validità.
• Predittività: Esiste una correlazione positiva significativa tra il grado di allineamento geometrico dei vettori e la magnitudine del bias comportamentale (CE). Modelli con vettori più allineati commettono più errori.

C. Influenza Causale Incrociata

• Gli esperimenti di steering dimostrano un'interazione causale bidirezionale:
  • Aggiungere il vettore di plausibilità alle attivazioni durante un compito di validità fa sì che il modello giudichi gli argomenti come validi se sono plausibili.
  • Aggiungere il vettore di validità durante un compito di plausibilità influenza la percezione della verità fattuale.
• Questo conferma che le LLM non distinguono nettamente tra "è vero nel mondo" e "è logicamente corretto" a livello di rappresentazione interna.

D. Intervento di De-biasing (Mitigazione)

• Gli autori hanno progettato un vettore di intervento specifico: la differenza tra i compiti ($\mu^l_{V-P} = \mu^l_{V} - \mu^l_{P}$).
• Questo vettore isola le dimensioni rappresentazionali specifiche della validità logica, rimuovendo la componente legata alla plausibilità.
• Risultati: Applicando questo vettore (scalato con un fattore $\alpha=1.5$) agli strati ottimali, è stato possibile:
  • Ridurre il Content Effect quasi a zero (da ~0.35 a ~0.07).
  • Migliorare o mantenere l'accuratezza complessiva del ragionamento.
  • Ottenere questo risultato senza riaddestrare il modello (inference-time intervention).

4. Significato e Implicazioni

Questo studio fornisce una spiegazione meccanicistica del perché le LLM falliscono nel ragionamento logico astratto: non è un difetto di capacità computazionale, ma un'entanglement rappresentazionale.

• Interpretabilità: Dimostra che l'analisi geometrica delle rappresentazioni interne può rivelare bias cognitivi simili a quelli umani.
• Mitigazione: Offre una via pratica per migliorare l'affidabilità logica dei modelli tramite steering delle attivazioni, senza bisogno di fine-tuning costoso.
• Futuro: Suggerisce che il bias deriva probabilmente dai dati di addestramento, dove argomenti validi sono spesso anche veri (sound), portando il modello ad associare erroneamente validità e plausibilità.

In sintesi, il paper dimostra che la confusione tra logica e realtà nelle LLM è codificata nella geometria del loro spazio latente e che tale confusione può essere risolta intervenendo direttamente su queste rappresentazioni.