Sintesi Tecnica: La Consistenza Operadica come Segnale Senza Etichette per i Fallimenti del Ragionamento Composizionale

1. Definizione del Problema

I moderni Large Language Models (LLM), inclusi i recenti modelli di "pensiero" (thinking models), generano frequentemente catene di ragionamento fluide e sicure che però falliscono nel comporre una risposta finale corretta. Questo fenomeno, noto come "gap di composizionalità", rappresenta un modo critico di fallimento in cui le sottoconclusioni non si aggregano logicamente alla soluzione prevista. Rilevare questi fallimenti durante l'inferenza senza avere accesso alle etichette di verità fondamentale (ground-truth) è una sfida centrale nella rilevazione delle allucinazioni, nella calibrazione dei modelli e nella predizione selettiva.

Gli attuali baseline di confidenza all'inferenza ricadono generalmente in tre categorie:

1. Metodi di campionamento e aggregazione: Come la CoT Self-Consistency (CoT-SC), che misura la varianza attraverso output campionati con temperatura.
2. Metodi basati sull'entropia: Come l'Entropia Semantica, che calcola l'entropia su cluster semantici di campioni.
3. Metodi di auto-valutazione: Come $P(\text{True})$, che estrae la probabilità che il modello ritenga corretta la propria risposta.

Gli autori sostengono che questi metodi sondino principalmente la diversità del campione o l'auto-valutazione, che sono spesso ortogonali all'integrità strutturale del processo di ragionamento. Un modello può essere erroneamente sicuro con bassa varianza del campione, o corretto con alta varianza. Manca un metodo che testi direttamente se il ragionamento di un modello sia internamente composizionale — ovvero, se le sottoconclusioni, se prese sul serio e ricomposte, producano la stessa risposta finale della risposta diretta del modello.

2. Metodologia: L'Operad delle Domande e la Consistenza Operadica

Il documento introduce un framework formale basato sulla Teoria degli Operadi, una struttura matematica progettata per studiare sistemi costruiti per sostituzione iterata.

2.1 L'Operad delle Domande ($\mathcal{Q}$)

Gli autori definiscono l'Operad delle Domande ($\mathcal{Q}$), dove:

• Operazioni: Corrispondono a template di domande con $k$ spazi vuoti (arità $k$).
• Composizione: Definita dalla sostituzione di un template di domanda (con i propri spazi vuoti) in uno spazio vuoto di un altro template. Ciò crea una struttura ad albero di domande (Albero di Domande, o ToQ, Tree of Questions).
• Algebre: Un modello linguistico è interpretato come un'algebra su $\mathcal{Q}$. Idealmente, la risposta del modello a una domanda composita dovrebbe eguagliare il risultato del rispondere sequenzialmente alle sotto-domande e sostituire le risposte all'interno della domanda composita.

2.2 Consistenza Operadica (OC)

La Consistenza Operadica è definita come il predicato in cui la risposta diretta di un modello a una query complessa concorda con la risposta prodotta componendo una scomposizione dichiarata di tale query.

• Istanziazione: Il documento valuta questo concetto su catene di profondità 2 (una domanda radice scomposta in due passaggi: $Q_1 \to Q_2$).
• Protocollo:
  1. Percorso Diretto: Il modello risponde alla domanda originale $Q$ direttamente.
  2. Percorso Scomposto: Il modello risponde alla sotto-domanda $Q_1$, sostituisce la risposta $A_1$ in $Q_2$, e risponde alla risultante $Q_2[A_1]$.
  3. Scoring: Il punteggio OC è l'accordo semantico (da 0 a 1) tra la risposta diretta e la risposta finale scomposta, calcolato utilizzando scorer specifici per il dataset (es. SQuAD-F1, uguaglianza di valore per i numeri, estrazione yes/no).
• Costo: Questo richiede esattamente 3 chiamate al modello per ogni domanda (1 diretta, 2 passaggi scomposti).

Il framework si applica sia ai modelli istruiti (non-thinking) (dove le scomposizioni sono fornite da annotatori umani o metadati del dataset) sia ai modelli di pensiero (dove la scomposizione viene estratta dalla loro stessa catena di pensiero).

3. Contributi Chiave

1. Framework Teorico: La definizione dell'Operad delle Domande $\mathcal{Q}$ e l'interpretazione degli LLM come algebre su $\mathcal{Q}$, fornendo una base formale per diagnosticare i fallimenti composizionali.
2. Segnale Empirico (OC): La proposta della Consistenza Operadica come segnale per domanda che correla fortemente con l'accuratezza.
3. Complementarità: Dimostrazione che OC fornisce informazioni predittive distinte e complementari rispetto ai baseline standard (CoT-SC, Entropia Semantica, $P(\text{True})$).
4. Utilità di Deployment: Evidenza del fatto che combinare OC con CoT-SC migliora la predizione selettiva (accuratezza a un livello di copertura fissato) a parità di costi di inferenza.

4. Risultati Sperimentali

Lo studio ha valutato 17 modelli (12 istruiti, 5 di pensiero) su quattro dataset di QA multi-hop (HotpotQA, MuSiQue, StrategyQA, DROP) e un dataset matematico (GSM8K per i modelli di pensiero).

4.1 Correlazione di Accuratezza Cross-Modello

• Forza Uniforme: OC mostra una forte correlazione di Pearson ($r \in [0.86, 0.94]$) con l'accuratezza del modello su tutti e quattro i dataset.
• Confronto: CoT-SC (a $K=10$) eguaglia OC su HotpotQA ($r=0.93$) e DROP ($r=0.87$), ma crolla su MuSiQue ($r=0.43$) e StrategyQA ($r=0.46$). Anche l'Entropia Semantica e $P(\text{True})$ falliscono nel mantenere un'alta correlazione attraverso tutti i dataset.
• Stima Senza Etichette: Utilizzando un protocollo leave-one-model-out, il tasso di OC di un modello non incluso nel training predice la sua accuratezza con un Errore Assoluto Medio (MAE) di 3,0 punti percentuali, superando significativamente CoT-SC ($K=10$), che ha un MAE di 4,6 pp.

4.2 Potere Predittivo per Singola Domanda

• Regressione Logistica: Nel predire la correttezza su base singola, OC contribuisce informazioni marginali significative anche controllando per CoT-SC, Entropia Semantica e baseline sensibili alla scomposizione (es. self-consistency decomposta). Il coefficiente per OC è altamente significativo ($p \le 10^{-16}$) in tutti i dataset.
• Baseline Sensibili alla Scomposizione: Il documento ha testato la "decomposed self-consistency" (campionando solo il secondo passaggio della scomposizione) e un Process Reward Model (Skywork-PRM). Nessuno dei due ha raggiunto l'uniforme correlazione cross-modello di OC, e nessuno dei due ha scalzato la significatività di OC nelle regressioni congiunte.

4.3 Predizione Selettiva

• Modelli Non-Thinking: Al pari di un budget di costo ($K=3$ chiamate), l'aggiunta di OC a un baseline CoT-SC ha migliorato l'AUARC di +0,086 a +0,096 e l'AUROC di +0,092 a +0,164 in tutti i quattro dataset. Gli intervalli di confidenza bootstrap al 95% escludevano lo zero per ogni cella.
• Modelli di Pensiero: Su cinque modelli di frontiera di tipo "thinking", dove le scomposizioni sono state estratte dalla loro stessa catena di pensiero, il combinatore OC + Self-Consistency ha mostrato incrementi positivi nelle stime puntuali su tutti i 16 casi testati (dataset, budget, metrica), con 12 su 16 che presentavano intervalli di confidenza al 95% che escludevano lo zero.

5. Significato e Rivendicazioni

Il documento sostiene che la Consistenza Operadica offra un diagnostico strutturale per il ragionamento degli LLM che è fondamentalmente diverso dai segnali basati sulla varianza.

• Meccanismo: Mentre CoT-SC e l'Entropia Semantica misurano quanto l'output del modello vari, l'OC misura se i passaggi di ragionamento del modello coeriscono. Chiede: "Se rompo questo problema e lo rimonto, ottengo la stessa risposta?"
• Robustezza: Il segnale è robusto rispetto alla scelta dello scorer di correttezza (validato tramite LLM-judge e altri scorer) e regge su modelli che vanno da 4B a 671B di parametri, sia per sistemi a pesi aperti che per sistemi a codice chiuso.
• Praticità: L'OC è un segnale all'inferenza privo di etichette che non richiede dati di verità fondamentale per il deployment, rendendolo adatto per la stima della confidenza in tempo reale e la predizione selettiva in ambienti di produzione.
• Limitazioni: Gli autori notano che l'OC è una condizione necessaria ma non sufficiente per la correttezza (si verificano falsi positivi quando il modello è coerentemente errato; si verificano falsi negativi quando il percorso diretto è corretto ma il percorso scomposto fallisce). Pertole, raccomandano di implementare l'OC come parte di uno stack multi-segnale piuttosto che come gate stand-alone.

Questo lavoro posiziona l'Operad delle Domande non solo come un vocabolario descrittivo, ma come un framework generativo per derivare nuovi segnali diagnostici, suggerendo direzioni future che coinvolgano alberi più profondi, scomposizioni ramificate e algebre su altre quantità (es. confidenza, costo).