Sintesi Tecnica: Un Framework Basato sulla Simmetria per Misurare le Preferenze degli LLM Sotto Specifiche Conflittuali

Definizione del Problema

I grandi modelli linguistici (LLM) operano sempre più in ambienti in cui molteplici specifiche contestuali definiscono un compito. Queste specifiche assumono spesso forme diverse — istruzioni in linguaggio naturale, vincoli formali, test eseguibili o esempi di input-output — e possono essere incoerenti o direttamente conflittuali. Mentre la ricerca precedente ha esaminato come i modelli rilevino o concilino i conflitti tra fonti di informazione (ad esempio, nella generazione aumentata dalla ricerca o nel fact-checking), manca un metodo controllabile e attribuibile per analizzare sistematicamente come i modelli diano priorità a diverse forme di specifica del compito quando queste supportano comportamenti incompatibili. Nello specifico, rimane da chiarire se gli LLM esibiscano preferenze sistematiche per determinati tipi di rappresentazione (ad esempio, formale vs linguaggio naturale) e come tali preferenze varino tra i modelli e i domini dei compiti.

Metodologia

Gli autori propongono un framework sperimentale basato sulla simmetria progettato per misurare le preferenze dei modelli sotto specifiche conflittuali, trattando il problema come un processo di selezione su mappature eseguibili concorrenti.

Framework Core

1. Mappature Eseguibili: Un compito è definito da una mappatura $f: X \to Y$. Le specifiche conflittuali sono costruite come coppie di mappature ($f_1, f_2$) che producono output distinti e attribuibili per una query discriminante $q^\star$ (dove $f_1(q^\star) \neq f_2(q^\star)$).
2. Attribuzione: Poiché ogni specifica induce un output concreto, la risposta del modello può essere direttamente attribuita a una mappatura, all'altra, o a nessuna delle due. Ciò trasforma una decisione implicita in una variabile osservabile.
3. Controbilanciamento Basato sulla Simmetria: Per isolare le preferenze di rappresentazione da fattori confondenti (come l'ordine di presentazione o specifici bias di contenuto), il framework impiega configurazioni complete di simmetria. Per ogni confronto tra tipi di rappresentazione $A$ e $B$, vengono generati quattro trial per ogni istanza di conflitto:
   • $(A(f_1), B(f_2))$, $(B(f_1), A(f_2))$, $(A(f_2), B(f_1))$, $(B(f_2), A(f_1))$.
     Questo design controbilancia l'assegnazione dei tipi di rappresentazione alle mappature sottostanti e l'ordine di presentazione, consentendo la stima della preferenza attraverso l'aggregazione che marginalizza i fattori non target.

Setup Sperimentale

Il framework è stato istanziato attraverso tre domini:

1. Benchmark Matematico: Un dataset controllato di 550 istanze di conflitto attraverso 11 famiglie di funzioni (es. operazioni algebriche, grafiche, matriciali). Sono stati confrontati quattro tipi di rappresentazione: Linguaggio Naturale Puro (NL), Linguaggio Formale (Form), Linguaggio Formale Naturalizzato (NatF) ed Esempi di Input-Output (Ex).
2. Algebra Booleana: Conflitti tra formule simboliche e tavole della verità.
3. Generazione di Codice: Conflitti tra documentazione in linguaggio naturale e unit test eseguibili (derivati dal dataset MBPP).
4. Regole Cliniche: Conflitti riguardanti soglie di dosaggio renale e indicazioni di età pediatrica derivate da etichette openFDA, testando i conflitti tra regole genuine e perturbazioni che preservano lo schema.

Risultati Chiave

1. Preferenze di Rappresentazione Sistematiche (Benchmark Matematico)

Attraverso molteplici modelli (inclusi le famiglie DeepSeek, GPT e Llama), lo studio ha identificato un ordine di preferenza coerente per la risoluzione dei conflitti matematici:
$$\text{Formale} \approx \text{Formale Naturalizzato} > \text{Linguaggio Naturale Puro} > \text{Esempi di Input–Output}$$

• Formale vs Linguaggio Naturale: I modelli hanno selezionato le specifiche formali rispetto al linguaggio naturale puro in circa l'87% delle risposte attribuibili.
• Formale vs Esempi: La preferenza per le specifiche formali rispetto agli esempi era ancora più forte (~93%).
• Formale Naturalizzato: Nonostante siano espressi in linguaggio naturale, le specifiche formali naturalizzate si sono comportate in modo simile alle specifiche formali pure, suggerendo che la presenza di una struttura matematica esplicita sia il fattore dominante, non la sintassi superficiale.
• Varianza del Modello: Sebbene la gerarchia generale fosse rispettata, la forza relativa delle preferenze variava. Ad esempio, la preferenza per il formale rispetto al formale naturalizzato non era uniforme; alcuni modelli (es. GPT-5-nano) favorivano il formale naturalizzato, mentre altri (es. DeepSeek-V4-Flash) favorivano il formale puro.

2. Il Ruolo degli Esempi

La competitività degli esempi di input-output è stata trovata altamente dipendente dalla capacità del modello e dalla struttura del compito:

• Dipendenza dalla Capacità: Le varianti di modello con maggiore capacità hanno generalmente selezionato le mappature supportate da esempi più frequentemente rispetto alle varianti a minore capacità.
• Dipendenza dal Compito: Gli esempi sono stati più competitivi contro il linguaggio naturale puro (tassi di selezione fino al ~55% per alcuni modelli) ma significativamente meno competitivi contro le specifiche formali o formali naturalizzate (tassi di selezione spesso <10%).
• Sensibilità alla Struttura: Gli esempi hanno faticato quando la specifica concorrente esponeva una struttura matematica esplicita, poiché le dimostrazioni finite erano insufficienti per recuperare la regola rispetto ai vincoli espliciti della notazione formale.

3. Risultati Eterogenei nei Domini

• Algebra Booleana: I modelli hanno mostrato una forte preferenza per le rappresentazioni simboliche compatte e composizionali (formule e netlist di porte) rispetto alle tavole della verità esaustive. Tuttavia, la preferenza tra formule e netlist di porte era dipendente dal modello, suggerendo l'assenza di una gerarchia universale per rappresentazioni strutturalmente simili.
• Generazione di Codice: È stata osservata una divergenza netta basata sulla capacità del modello. I modelli con punteggi inferiori tendevano a favorire la documentazione in linguaggio naturale, mentre i modelli con punteggi più alti favorivano fortemente i test eseguibili (fino al 97% di selezione per i top model).
• Regole Cliniche: In contesti clinici, la gerarchia di rappresentazione non si è trasferita chiaramente. Al contrario, è emerso un bias specifico del dominio: i modelli hanno costantemente preferito la regola più restrittiva (52%–87% di selezione), indipendentemente dal fatto che tale regola fosse l'etichetta "genuina" o una sua perturbazione. Ciò indica che nei domini ad alto rischio, i bias di sicurezza/restrittività possono prevalere sulle preferenze di rappresentazione.

4. Robustezza e Astensione

• Ordine di Presentazione: Sebbene fosse un effetto secondario, l'ordine di presentazione ha avuto un impatto minimo rispetto al tipo di rappresentazione, tranne quando le specifiche concorrenti avevano una forza simile (es. Formale vs Formale Naturalizzato).
• Astensione: Quando era esplicitamente permesso rispondere "incerto", i modelli (particolarmente GPT-5-nano) hanno utilizzato l'astensione come strategia di gestione del conflitto, con tassi che variavano significativamente per coppia di rappresentazione (es. ~64% di astensione per i conflitti Formale vs Formale Naturalizzato in GPT-5-nano).

Significato e Rivendicazioni

Il paper sostiene di aver stabilito la risoluzione dei conflitti negli LLM come un problema di misurazione controllato, eseguibile e controbilanciato dalla simmetria.

• Misurazione Attribuibile: Utilizzando una verità di base eseguibile e il controbilanciamento basato sulla simmetria, il framework consente l'attribuzione diretta degli output del modello a specifiche particolari, andando oltre l'analisi qualitativa di "allucinazione" o "riconciliazione".
• Strutturato ma Dipendente dal Contesto: I risultati caratterizzano la risoluzione dei conflitti degli LLM non come rumore casuale, ma come un processo di selezione strutturato. Tuttavia, questa struttura è dipendente dal contesto: mentre esiste una generale preferenza per la struttura esplicita nei compiti matematici, fattori specifici del dominio (come la restrittività nelle regole cliniche o la precisione dei test nella generazione di codice) possono rimodellare o sovrascrivere tali preferenze.
• Framework Unificato: Il lavoro fornisce un approccio sperimentale unificato per analizzare come i modelli diano priorità a diverse forme di specifica, dimostrando che queste preferenze non sono universali ma variano sistematicamente tra modelli, famiglie di compiti e domini.

Gli autori concludono che comprendere queste gerarchie implicite è essenziale per progettare sistemi affidabili basati su LLM, poiché il "vincitore" in un conflitto è determinato da un complesso intreccio tra tipo di rappresentazione, capacità del modello e vincoli specifici del dominio.