Answer Engineering: Local Trajectory Editing for Protocol-Constrained Decision Making in Large Language Models

Sintesi Tecnica: Answer Engineering

Definizione del Problema
I Large Language Models (LLM) spesso generano risposte sicure ma errate in domini che richiedono l'aderenza rigorosa a protocolli procedurali, come la medicina clinica. Sebbene le tecniche di ragionamento passo-passo (ad esempio, Chain-of-Thought) migliorino la struttura e la trasparenza, esse spesso non riescono a prevenire gli errori in contesti vincolati da protocolli. Invece di eliminare i fallimenti, il ragionamento spesso sposta la distribuzione degli errori. Gli studi empirici indicano che i modelli possono generare spiegazioni che fungono da razionalizzazioni post-hoc piuttosto che da derivazioni fedeli della risposta finale. Di conseguenza, i modelli possono prendere una decisione precocemente e razionalizzarla, oppure generare passaggi intermedi incoerenti con le regole del dominio. In ambienti regolamentati, una risposta può apparire plausibile ma essere operativamente invalida se omette controlli procedurali obbligatori o distinzioni. Gli approcci esistenti, inclusi il prompting, la decodifica vincolata (constrained decoding) e la validazione post-hoc, affrontano spesso questi problemi in modo indiretto, globale o solo dopo che la generazione è completata, fallendo nell'intervenire all'interno della traiettoria di ragionamento in evoluzione.

Metodologia: Answer Engineering
Questo articolo propone l'Answer Engineering, uno strato deterministico di runtime e di autoria che esegue un'intervenzione localizzata della traiettoria durante la generazione autoregressiva. A differenza dei metodi che richiedono il retraining del modello o la ricerca globale, l'Answer Engineering opera come una superficie di controllo sul decoding standard, imponendo la conformità al protocollo attraverso liche correzioni basate su regole alla traccia di ragionamento generata.

Il meccanismo centrale si basa sulla proprietà del decoding condizionato dal prefisso: in un transformer autoregressivo, la distribuzione dei futuri token dipende esclusivamente dal prefisso visibile. Pertanto, le modifiche locali alla traiettoria di ragionamento ridefiniscono il contesto per la generazione successiva senza alterare i parametri del modello.

Il framework implementa tre classi di intervento, attivati da regole dichiarative redatte da esperti di dominio:

1. Modifica del Passato (Sostituzione di Span Retroattiva): Quando un trigger indica una violazione (ad esempio, un'inferenza errata), il sistema sostituisce lo span offending con un candidato valido selezionato in base alla verosimiglianza del modello.
2. Selezione tra Continuazioni Recenti (Rollback Locale): Al rilevamento di un trigger, il sistema effettua un rollback all'inizio dello scope della modifica, genera molteplici continuazioni candidate e seleziona quella con il punteggio più alto conforme alle regole del protocollo.
3. Forzatura del Futuro (Inserimento): Se un protocollo richiede una specifica dichiarazione (ad esempio, un avviso di urgenza), il sistema appende un candidato valido predefinito al prefisso corrente e procede con la generazione attraverso questi token forzati.

Il runtime opera come un ciclo di controllo: monitora la traiettoria per i trigger delle regole, propone candidati di modifica, li valuta utilizzando la propria funzione di verosimiglianza del modello e applica l'intervento selezionato prima di riprendere la decodifica. Questo processo comporta la ricostruzione della KV cache dal primo token modificato per garantire che la generazione continui dallo stato corretto.

Contributi Chiave
L'articolo presenta tre contributi primari:

1. Un Meccanismo di Runtime in Fase di Decoding: Un framework per imporre la conformità al protocollo attraverso l'intervento localizzato sulla traiettoria durante la generazione, eliminando la necessità di retraining del modello o ricerca globale.
2. Un'Astrazione di Controllo Basata su Regole: Un metodo per specificare vincoli procedurali specifici del dominio come operazioni di editing della traiettoria interpretabili, consentendo agli esperti di dominio di definire le modifiche ammissibili senza modificare il codice del modello.
3. Valutazione Empirica: Una dimostrazione che il solo ragionamento passo-passo può ridurre la conformità al protocollo in compiti decisionali strutturati e che l'intervento localizzato sulla traiettoria può migliorare sostanzialmente gli esiti conformi.

Risultati Sperimentali
L'approccio è stato valutato su un benchmark clinico riguardante la Sordità Neurosensoriale Improvvisa (SSNHL), che richiede la diagnosi differenziale tra SSNHL e ipoacusia trasmissiva basata sui risultati dei diapason Weber e Rinne. La valutazione ha utilizzato un dataset deterministico di 2.000 casi sintetici (1.000 SSNHL, 1.000 trasmissivi) e il modello OpenMeditron/Meditron3-8B.

I risultati chiave includono:

• Fallimento della Baseline di Ragionamento: Sotto una baseline di ragionamento passo-passo, gli esiti conformi per la condizione target SSNHL sono scesi dal 54,5% (non guidato) al 25,1%, mentre le prestazioni sulla condizione trasmissiva contrastante sono aumentate dall'1,6% al 58,9%. Ciò indica che il ragionamento da solo ha spostato gli errori invece di prevenirli.
• Successo dell'Editing della Traiettoria: L'applicazione dell'intero stack di editing della traiettoria (combinando validazione locale, sostituzione e inserimento forzato) ha aumentato gli esiti conformi per la condizione target SSNHL all'83,5% e l'aderenza al protocollo per la condizione trasmissiva contrastante al 77,9%.
• Accuratezza Bilanciata: L'accuratezza bilanciata tra entrambe le condizioni è migliorata dal 42,0% (baseline di ragionamento) all'80,7% con l'editing della traiettoria.
• Overhead di Runtime: L'intervento ha comportato un rallentamento di 2,78× per i casi SSNHL e di 1,33× per i casi trasmissivi rispetto alla baseline di ragionamento.
• Analisi dei Fallimenti: Gli autori osservano che, sebbene il metodo migliori significativamente gli esiti, non garantisce una stabilità uniforme del ragionamento. In alcuni casi, il modello mostra una "persistenza dell'impegno" (commitment persistence), tentando ripetutamente una chiusura diagnostica prematura nonostante i ripetuti tentativi di riparazione locale.

Significatività e Rivendicazioni
L'articolo sostiene che l'Answer Engineering dimostra che l'affidabilità nel ragionamento governato da protocolli non è solo una proprietà dell'addestramento del modello, ma può essere trattata come una proprietà operativa modellata dal controllo a runtime. I risultati suggeriscono che molti fallimenti nella generazione vincolata da protocolli sono violazioni strutturali (ad esempio, passaggi omessi, inconsistenze locali) che possono essere corrette attraverso protocolli specifici del dominio senza retraining.

Gli autori posizionano questo lavoro come uno studio di fattibilità in condizioni strutturate. Affermano esplicitamente che la valutazione isola un confine diagnostico ben definito per rendere i fallimenti del ragionamento osservabili e correggibili. Non rivendicano questa come una soluzione generale per tutti i problemi di affidabilità del ragionamento, riconoscendo che i flussi di lavoro del mondo reale coinvolgono protocolli interagenti, osservabilità parziale e linee guida in evoluzione. La significatività risiede nel fornire una prospettiva di livello di sistema in cui l'aderenza al protocollo è progettata attraverso il controllo esplicito del comportamento di generazione, offrendo una via per migliorare la conformità in domini regolamentati dove le tecniche di ragionamento standard si sono rivelate insufficienti.