Think Fast, Talk Smart: Partitioning Deterministic and Neural Computation for Structured Health Text Generation

Riepilogo Tecnico: Think Fast, Talk Smart (TFTS)

Enunciato del Problema
I Large Language Models (LLM) sono sempre più impiegati per generare testi sanitari da dati strutturati (ad esempio, serie temporali da dispositivi indossabili, biomarcatori, registri di assistenza). Sebbene gli LLM eccellano nella fluidità, i compiti ricorrenti di generazione sanitaria richiedono un rigoroso rispetto dei dati sorgente, affermazioni basate su evidenze, conformità alle normative e output leggibili dalle macchine. Il problema centrale affrontato è determinare quali responsabilità in questa pipeline debbano essere gestite da calcolo deterministico rispetto alla prompting runtime degli LLM. Gli approcci attuali si basano spesso su prompt a chiamata singola (zero-shot o few-shot) per eseguire l'intero compito analitico e linguistico, rischiando allucinazioni numeriche, violazioni delle normative e costi più elevati.

Metodologia
Gli autori introducono Think Fast, Talk Smart (TFTS), un framework di partizionamento per la generazione di insight sulla salute del sonno. Il sistema scompone il compito in quattro fasi distinte:

1. Input Strutturati: Ingestione di segnali derivati da dispositivi indossabili (sonno, recupero, fisiologia, comportamento).
2. Moduli Analitici Deterministici: Strati basati su codice gestiscono compiti di ragionamento ricorrenti e verificabili, tra cui:
   • Confronto: Confronti numerici rispetto a linee di base.
   • Classificazione: Selezione delle metriche da evidenziare in base a regole.
   • Attribuzione: Controllo delle affermazioni esplicative basato sulle evidenze disponibili.
   • Passaggio: Compilazione dei fatti selezionati in un'interfaccia compatta e vincolata allo schema.
3. Scrittore LLM Delimitato: Una singola chiamata LLM che riceve l'interfaccia deterministica e genera prosa rivolta all'utente, strettamente vincolata dai fatti e dallo schema forniti.
4. Valutazione Deterministica: Parsing e verifica automatizzati dell'output finale.

Per valutare la necessità di questa partizione, gli autori adottano un Protocollo di Sostituzione a Strati. Invece di confrontare l'intero sistema con un prompt monolitico, sostituiscono sistematicamente i singoli strati deterministici (Confronto, Classificatore, Attribuzione, Passaggio) con artefatti tipizzati generati dall'LLM. Questo isola specifici modi di fallimento, testando se un LLM possa preservare il significato inteso di un passo analitico intermedio oltre a produrre semplicemente JSON sintatticamente valido.

Configurazione Sperimentale

• Dataset: 280 notti utente da 20 utenti attivi.
• Modelli: Sono stati valutati sei LLM (GPT-5 nano, GPT-4o mini, GPT-OSS-20B/120B, Haiku 4.5, Sonnet 4.6).
• Baseline:
  • Zero-Shot Strutturato: Dati grezzi e regole in un singolo prompt.
  • Few-Shot Strutturato: Include tabelle di metriche ed esempi in un singolo prompt.
• Metriche: Tasso di Errore Numerico (NUMERR), Tasso di Errore di Conformità alle Istruzioni (SELERR + ATTRERR), Tasso di Errore dello Schema (SCHEMAERR) e costo end-to-end.

Risultati Chiave

1. Frontiera Errore-Costo: TFTS occupa costantemente la regione a basso costo e basso errore su tutti e sei i modelli. Ha raggiunto un NUMERR medio dello 0,7% (peggior modello 2,0%) e un errore di conformità alle istruzioni inferiore al 3%. Al contrario, le baseline a chiamata singola non sono riuscite a recuperare questa frontiera; il Few-Shot Strutturato ha migliorato l'aderenza allo schema ma ha comunque mostrato alti errori aggregati di selezione (68,6%) ed errori numerici.
2. Risultati della Sostituzione a Strati:
   • Sostituzione del Confronto: Delega l'osservazione numerica all'LLM, causando un picco del NUMERR al 16,9%.
   • Sostituzione del Classificatore: Mantiene i fatti fondati ma degrada l'aderenza alle regole di selezione, risultando in un errore di selezione del 65,8%.
   • Sostituzione dell'Attribuzione: Aumenta il linguaggio causale non supportato, con errori di attribuzione che salgono al 24,5%.
   • Sostituzione del Passaggio: Anche quando i fatti a monte sono deterministici, sostituire l'interfaccia compatta da evidenze a scrittore reintroduce errori (NUMERR 4,8%, ATTRERR 10,7%), indicando che l'interfaccia stessa è un meccanismo di affidabilità.
3. Efficienza dei Costi: TFTS raggiunge costi end-to-end inferiori rispetto alle baseline utilizzando una singola chiamata LLM delimitata invece di affidarsi a prompt complessi a più passaggi o a raffinamenti iterativi all'interno di una singola chiamata.

Significato e Affermazioni
Il documento sostiene che per carichi di lavoro sanitari strutturati con regole analitiche ricorrenti, il codice deterministico deve gestire l'analisi, mentre gli LLM devono essere limitati all'espressione di fatti verificati all'interno di interfacce delimitate.

• Regola di Progettazione: "Lascia che il codice pensi velocemente su fatti e normative stabili, poi lascia che l'LLM parli in modo intelligente entro limiti verificati."
• Modi di Fallimento: Lo studio rivela che specifiche responsabilità analitiche (aritmetica, politica di classificazione, controllo delle evidenze) sono soggette a fallimento quando delegate agli LLM, anche quando l'LLM produce output sintatticamente corretti.
• Ambito: Gli autori lo posizionano come un approccio complementare alla Generazione Aumentata dal Recupero (RAG) e all'uso di strumenti. Mentre tali metodi migliorano il recupero del contesto o le chiamate apprese, TFTS affronta quali responsabilità debbano essere rimosse completamente dal prompting runtime.
• Limitazioni: Lo studio si concentra sulla preservazione di un sistema di riferimento deterministico, non sull'ottimalità clinica o sulla diagnosi aperta. Il principio di partizione è più applicabile a domini con input strutturati, regole stabili e intermedi verificabili (ad esempio, risultati di laboratorio, monitoraggio dei parametri vitali), piuttosto che a compiti che richiedono ragionamento clinico aperto.

Gli autori concludono che affidarsi al prompting a chiamata singola per la generazione sanitaria strutturata è insufficiente per affidabilità ed efficienza dei costi, sostenendo un'architettura ibrida in cui il codice gestisce il "pensare" e gli LLM gestiscono il "parlare".