Calibrating Semantic Uncertainty from Observable Language-Model Probabilities

Sintesi Tecnica: Calibrazione dell'incertezza semantica dalle probabilità osservabili dei modelli linguistici

Enunciato del problema
I modelli linguistici (LM) generano distribuzioni di probabilità condizionale su parole e frasi, ma il processo decisionale professionale in settori come la finanza, la medicina e il diritto richiede la quantificazione dell'incertezza su stati dotati di significato e valori finiti (ad esempio, diagnosi, condizioni di rischio o stati operativi). Esiste un disallineamento critico: l'output nativo di un LM è una distribuzione su risposte verbali, che è sensibile alla formulazione del prompt, all'ordine e al formato numerico. Al contrario, il target della distribuzione posteriore scientifica sugli stati dovrebbe essere invariante rispetto a riformulazioni semanticamente equivalenti. Gli approoli attuali spesso confondono la fiducia numerica stampata o le probabilità dei token con le probabilità calibrate degli stati, fallendo nel rendere conto dell'instabilità semantica dove frasi sinonime ricevono probabilità disparate o dove la "fluidità" del modello maschera l'incertezza. Il documento affronta il problema inverso: è possibile mappare una distribuzione osservabile e dipendente dal prompt su una distribuzione di risposte verbali in un posteriore stabile e calibrato su stati dichiarati?

Metodologia
Il documento propone una mappa semantica, un ponte statistico semiparametrico che connette la distribuzione del linguaggio condizionale dell'LM alla distribuzione posteriore target su uno spazio di stati finito. Il framework tratta l'LM come un processo di generazione dati condizionale (un kernel di Markov) e separa il design statistico in distinti livelli:

1. Esperimento Statistico Osservabile: L'LM è modellato come una legge di risposta condizionale $Q_u(\cdot | c)$ su continuazioni verbali complete $\Omega$, dato un prompt $c$. Il prompt è una variabile di design esplicita controllata dall'evaluatore.
2. Raggruppamento Semantico (Semantic Coarsening): Una mappa misurabile predefinita $\phi_u$ raggruppa le continuazioni verbali sinonime in stati semantici $X$ (e una categoria "non espressa" $\perp$). Ciò induce una misura pushforward (composizione lessicale) $p_u$ sullo spazio degli stati.
3. Calibrazione e Recupero Inverso: Il documento formula il recupero della distribuzione posteriore di riferimento $\pi^*(y)$ (derivata da un modello probabilistico dichiarato e indipendente) dalla composizione lessicale $p_u$ come un problema inverso. Utilizza coordinate di rapporto logaritmico additivo (alr) per mappare i vettori di probabilità nello spazio euclideo, permettendo l'applicazione della teoria dei problemi inversi.
4. Garanzie Teoriche:
   • Esistenza e Unicità: La composizione lessicale esiste ed è unica condizionata alla mappa semantica fissa e alla legge del linguaggio.
   • Decomposizione dell'Errore: Un teorema limita l'errore del posteriore derivante da tre fonti distinte: mismatch semantico (errore di raggruppamento), errore di calcolo della probabilità e massa non espressa (probabilità al di fuori della partizione dichiarata).
   • Stabilità: I limiti teorici caratterizzano come le perturbazioni nella presentazione del prompt (formulazione, ordine) influenzano la composizione semantica, distinguendo tra variazioni di disturbo e cambiamenti consequenziali.
   • Recupero Inverso: Le condizioni per un recupero stabile del posteriore sono definite tramite un modulo di osservabilità quantitativa (limite inferiore sulla separazione di posteriori distinti nel canale del linguaggio).
   • Filtraggio Sequenziale: Un teorema di filtraggio quantifica come gli errori di misurazione si propagano o vengono attenuati durante gli aggiornamenti bayesiani sequenziali, distinguendo tra l'errore di misurazione iniziale e i difetti di ricorsione accumulati.

Contributi Chiave
Il contributo primario del documento è la formalizzazione della mappa semantica come un estimando statistico testabile, andando oltre l'ad-hoc prompt engineering. Nello specifico:

• Estimando Dichiarato: Definisce un target chiaro: il recupero di un posteriore di riferimento su stati finiti da una distribuzione del linguaggio osservabile, piuttosto che trattare la "credenza" interna dell'LM come la verità fondamentale.
• Framework Semiparametrico: Combina un modello linguistico non ristretto con un modello di calibrazione a bassa dimensione, evitando la necessità di modellare i parametri interni dell'LM pur rendendo conto rigorosamente della mappatura dal linguaggio allo stato.
• Decomposizione dell'Incertezza: Fornisce una decomposizione matematica delle fonti di errore (semantiche, numeriche e di copertura), consentendo ai professionisti di diagnosticare se i fallimenti derivino da un cattivo raggruppamento, da un calcolo impreciso della probabilità o da una copertura verbale insufficiente.
• Analisi del Problema Inverso: Applica la teoria dei problemi inversi per stabilire le condizioni sotto le quali il canale del linguaggio è sufficientemente informativo da permettere una stabilità di inversione, distinguendo tra osservabilità di design finito e identificazione uniforme.
• Protocollo Empirico: Stabilisce un protocollo inferenziale rigoroso che separa la scoperta (raggruppamento semantico, design del prompt) dalla conferma (test su dati non visti, copertura conforme), prevenendo il look-ahead bias e la ricerca di specifiche dipendenti dai dati.

Risultati
La metodologia è stata valutata in due setting:

1. Testo di Mercato Professionale: Un confronto tra le probabilità derivate dal linguaggio (calcolate dalle probabilità dei token delle frasi) e le probabilità elicitate numericamente (dove al modello viene chiesto di stampare un numero).
   • Risultato: Le probabilità derivate dal linguaggio hanno superato significativamente le probabilità elicitate numericamente in termini di accuratezza (McNemar $p=0.0243$) e regole di punteggio propriamente (Log-loss e Brier score). Ciò suggerisce che forzare un output numerico distorce l'informazione semantica presente nella distribuzione di continuazione.
2. Recupero del Posteriore Controllato: Una simulazione utilizzando un generatore bayesiano noto per fornire i posteri di riferimento esatti, testata su due modelli adattati (GPT-4.1-mini e GPT-4o-mini).
   • Recupero: Gli stimatori lessicali calibrati hanno recuperato i posteri esatti tenuti in riserva con una bassa divergenza di Jensen–Shannon (circa 0.039 e 0.037) e hanno raggiunto una copertura conforme nominale del 90% (94% e 90%).
   • Stabilità: Le parafrasi ordinarie (riscritture che preservano l'informazione) hanno prodotto stime ampiamente stabili. Tuttavia, il riordinamento delle evidenze o l'omissione di informazioni rilevanti ha causato cambiamenti consequenziali, confermando che la misurazione è sensibile all'insieme informativo ma robusta rispetto alle variazioni di formulazione di disturbo.
   • Condizionamento Inverso: L'analisi bootstrap ha confermato che le mappe di calibrazione affine adattate mantengono tutte le direzioni del log-ratio sul design campionato (valori singolari positivi), supportando l'osservabilità di design finito.
   • Entropia: L'entropia grezza sui termini candidati non era correlata con l'entropia del posteriore, mentre l'entropia del posteriore calibrato era altamente correlata, dimostrando che l'incertezza a livello di parola non equivale all'incertezza a livello di stato.

Significatività e Rivendicazioni
Il documento afferma che l'incertezza del modello linguistico può essere trasformata da una dichiarazione di fiducia non verificata in un estimatore del posteriore auditabile sotto condizioni esplicite e testabili.

• Ambito Modesto: Gli autori dichiarano esplicitamente che il metodo non prova che l'LM "sappia" la verità o possieda credenze inaccessibili. Il posteriore target è condizionato dal modello generatore di evidenza dichiarato e dalla partizione semantica.
• Validazione rispetto alla Fiducia: Il contributo è un framework di validazione. Se la mappa semantica fallisce (ad esempio, bassa massa espressa, scarso condizionamento inverso o fallimento della copertura conforme), il risultato deve essere rifiutato o riparato. Se ha successo, la stima supporta procedure consapevoli dell'incertezza come l'astensione, la revisione umana o l'aggiornamento sequenziale.
• Principio Generale: Il principio della "mappa semantica" è presentato come un template generale per l'audit di classificazioni e raccomandazioni, garantendo che il significato rilevante per l'applicazione sia stabile e non sia semplicemente una funzione del prompt engineering.
• Limitazioni: I risultati sono condizionati al modello specifico adattato, alla famiglia di prompt e alle definizioni di stato. Non stabiliscono un'osservabilità uniforme su classi di funzioni non ristrette o una copertura sequenziale uniforme nel tempo senza ulteriori test a livello di traiettoria. Il metodo non è un sostituto dell'analisi decisionale specifica per il dominio o una garanzia di performance di trading in tempo reale.

In sintesi, il documento sostituisce la dipendenza dal "prompt engineering" per la stabilità con un rigoroso framework statistico che tratta il linguaggio come un canale di misurazione rumoroso, fornendo gli strumenti per quantificare, limitare e validare il recupero di probabilità di stato significative da tale canale.