Probing the Lack of Stable Internal Beliefs in LLMs

1. Il Problema: Incoerenza Interna e "Implicit Consistency"

Il lavoro affronta una limitazione fondamentale nei modelli linguistici su larga scala (LLM) orientati alla creazione di personaggi (persona-driven LLM). Sebbene i modelli moderni siano eccellenti nel simulare comportamenti umani e tratti della personalità, manca una verifica fondamentale: la consistenza interna durante interazioni estese.

La ricerca distingue due tipi di incoerenza:

• Incoerenza Esterna: Contraddizioni logiche o fattuali osservabili nelle risposte (es. dire "sì" a una domanda e "no" alla stessa domanda in seguito).
• Incoerenza Implicita (Implicit Inconsistency): Il problema centrale del paper. Si verifica quando il modello mantiene una coerenza superficiale nelle risposte, ma il suo obiettivo interno (la "credenza" o il target segreto) cambia silenziosamente durante la conversazione.

Il paper ipotizza che gli LLM attuali manchino di rappresentazioni interne stabili che ancorino le risposte a un obiettivo non dichiarato, rendendo impossibile simulare tratti umani come la "determinazione" o l'"affidabilità" su lunghi dialoghi.

2. Metodologia: Il Paradigma del Gioco delle 20 Domande

Per misurare questa incoerenza, gli autori hanno progettato un esperimento controllato basato sul gioco delle "20 domande":

• Setup: Un modello (il "Propositore") seleziona segretamente un target (un numero o un'entità) da un insieme di candidati. Un altro modello (il "Indovino") pone domande Sì/No per indovinare il target.
• Probing Tecnico: Per monitorare lo stato interno senza contaminare il dialogo principale, dopo ogni turno di conversazione, il sistema inserisce un contesto isolato chiedendo al Propositore: "Qual è l'indice specifico del target che hai selezionato?".
  • Ogni entità candidata è mappata a un indice numerico (0-9).
  • Viene analizzata la distribuzione di probabilità dei token di risposta per determinare lo stato di credenza $b_t$ del modello al turno $t$.
• Metriche:
  • Drift Rate (Tasso di Deriva): Frequenza con cui il target selezionato cambia durante il dialogo.
  • KL Divergence: Misura la distanza tra la distribuzione di probabilità del target al turno corrente e quella del turno precedente, quantificando lo spostamento continuo della credenza.
  • External Consistency Verification (ECV): Valuta se le risposte esterne contengono contraddizioni logiche (usando un LLM come giudice).

Gli esperimenti sono stati condotti su due varianti:

1. Indovina il Numero: Target numerico (0-99), bassa complessità semantica.
2. Indovina l'Entità: Target semantico (es. "Orso Polare", "Bitcoin"), alta complessità semantica.

3. Risultati Chiave

I risultati rivelano una incoerenza implicita pervasiva in tutti i modelli testati (inclusi GPT-4o, Claude-3.7, DeepSeek-v3.1, Seed-1.6):

• Deriva dell'Obiettivo (Goal Drift): La maggior parte dei modelli mostra un tasso di deriva del 100% (cambiano il target almeno una volta in ogni dialogo). In molti casi, il target interno cambia in oltre il 50% dei turni di conversazione.
• Paradosso della Coerenza Esterna: I modelli spesso mantengono risposte esterne coerenti (bassa ECV) pur avendo cambiato completamente il loro obiettivo interno. Questo dimostra che la coerenza superficiale non garantisce la stabilità degli obiettivi interni.
• Effetto dei Modelli "Reasoning": Contrariamente alle aspettative, l'uso di modelli potenziati con capacità di ragionamento ("+ Reasoning") ha spesso peggiorato la deriva degli obiettivi nei compiti semplici (come l'indovinare i numeri), probabilmente a causa di un "overthinking" che introduce complessità non necessaria e destabilizza l'obiettivo iniziale.
• Fine-Tuning: L'addestramento supervisionato (SFT) con una funzione di perdita basata sulla Divergenza KL (che penalizza la deviazione dalla distribuzione iniziale del target) ha dimostrato di ridurre significativamente il tasso di deriva (da ~36% a ~14% nel task numerico), confermando che la stabilità può essere appresa ma non è intrinseca.

4. Contributi Principali

1. Definizione Formalizzata: Introdurre e formalizzare il concetto di "Implicit Consistency", distinguendolo matematicamente dall'incoerenza esterna e fornendo un framework diagnostico.
2. Metodologia Unificata: Sviluppare una tecnica di probing basata sull'indicizzazione numerica che permette il monitoraggio continuo degli stati di credenza interni attraverso task diversi.
3. Evidenza Empirica: Dimostrare che gli LLM all'avanguardia falliscono sistematicamente nel mantenere obiettivi impliciti stabili, una limitazione fondamentale per la modellazione realistica della personalità.
4. Soluzione Parziale: Mostrare che la regolarizzazione tramite KL Divergence durante il fine-tuning può mitigare il problema, offrendo una via pratica per migliorare la stabilità degli stati interni.

5. Significato e Implicazioni

Questo studio evidenzia che la costruzione di agenti AI affidabili e con una personalità coerente richiede più della semplice allineamento comportamentale superficiale.

• Limiti Attuali: I modelli attuali non possiedono un "io" stabile che persista nel tempo; cambiano i loro obiettivi fondamentali se non vengono esplicitamente ricordati.
• Futuro della Ricerca: Per creare veri assistenti conversazionali o personaggi di ruolo, è necessario sviluppare meccanismi architetturali (es. memoria esplicita, tracciamento dello stato di credenza) che ancorino gli obiettivi impliciti nel tempo.
• Sicurezza e Fiducia: L'incoerenza interna rappresenta un rischio per la fiducia nell'interazione uomo-AI, poiché un sistema che cambia obiettivi silenziosamente non può essere considerato affidabile in scenari critici.

In sintesi, il paper dimostra che la stabilità degli stati interni è una sfida aperta e critica, e che la semplice capacità di ragionamento non risolve, e talvolta aggrava, il problema della coerenza degli obiettivi a lungo termine.