Think Fast, Talk Smart: Partitioning Deterministic and Neural Computation for Structured Health Text Generation

Technische Samenvatting: Think Fast, Talk Smart (TFTS)

Probleemstelling
Grote Taalmodellen (LLMs) worden steeds vaker ingezet om gezondheidsgerelateerde teksten te genereren op basis van gestructureerde gegevens (bijvoorbeeld tijdreeksen van wearables, biomerkers, zorglogboeken). Hoewel LLMs uitstekend zijn in vloeiendheid, vereisen terugkerende taken voor het genereren van gezondheidsinformatie strikte naleving van brondata, claims die gebaseerd zijn op bewijs, naleving van beleidsregels en machineleesbare outputs. Het kernprobleem dat wordt aangepakt, is het bepalen welke verantwoordelijkheden in deze pijplijn moeten worden afgehandeld door deterministische berekening versus runtime-prompting van LLM's. Huidige benaderingen vertrouwen vaak op prompting met één oproep (zero-shot of few-shot) om de volledige analytische en linguïstische taak uit te voeren, wat risico's met zich meebrengt zoals numerieke hallucinaties, overtredingen van beleidsregels en hogere kosten.

Methodologie
De auteurs introduceren Think Fast, Talk Smart (TFTS), een partitioneringskader voor het genereren van inzichten over slaaph Gezondheid. Het systeem splitst de taak op in vier distincte fasen:

1. Gestructureerde Invoer: Inname van signalen afgeleid van wearables (slaap, herstel, fysiologie, gedrag).
2. Deterministische Analytische Modules: Code-gebaseerde lagen behandelen terugkerende, verifieerbare redeneertaken, waaronder:
   • Vergelijking: Numerieke vergelijkingen tegen baselines.
   • Ranking: Selecteren welke metrieken op basis van regels naar voren moeten komen.
   • Attributie: Beperken van verklarende claims op basis van beschikbare bewijslast.
   • Overdracht: Het compileren van geselecteerde feiten in een compacte, schema-beperkte interface.
3. Beperkte LLM-schrijver: Een enkele LLM-oproep die de deterministische interface neemt en gebruikersgerichte proza genereert, strikt beperkt door de verstrekte feiten en het schema.
4. Deterministische Evaluatie: Geautomatiseerde parsing en verificatie van de uiteindelijke output.

Om de noodzaak van deze partitionering te evalueren, hanteren de auteurs een Layer-Vervanging Protocol. In plaats van het volledige systeem te vergelijken met een monolithische prompt, vervangen ze systematisch individuele deterministische lagen (Vergelijking, Ranker, Attributie, Overdracht) door door LLM gegenereerde getypeerde artefacten. Dit isoleert specifieke faalmodi en test of een LLM de beoogde betekenis van een intermediaire analytische stap kan behouden, verder dan alleen het produceren van syntactisch geldige JSON.

Experimentele Opstelling

• Dataset: 280 gebruikers-nachten van 20 actieve gebruikers.
• Modellen: Zes LLM's werden geëvalueerd (GPT-5 nano, GPT-4o mini, GPT-OSS-20B/120B, Haiku 4.5, Sonnet 4.6).
• Baselines:
  • Gestructureerde Zero-Shot: Ruwe data en regels in één prompt.
  • Gestructureerde Few-Shot: Bevat metriektabellen en voorbeelden in één prompt.
• Metrieken: Numerieke Foutratio (NUMERR), Instructie-Compliance Fout (SELERR + ATTRERR), Schema Fout (SCHEMAERR) en end-to-end kosten.

Belangrijkste Resultaten

1. Fout-Kosten Frontier: TFTS bezet consequent het gebied met lage kosten en lage fouten over alle zes modellen. Het behaalde een gemiddelde NUMERR van 0,7% (slechtste model 2,0%) en een instructie-compliance fout onder de 3%. Daarentegen faalden baselines met één oproep om deze frontier te herstellen; Gestructureerde Few-Shot verbeterde de schema-adequatie, maar vertoonde nog steeds hoge aggregate selectiefouten (68,6%) en numerieke fouten.
2. Layer-Vervanging Bevindingen:
   • Vervanging van Vergelijking: Delegeert numerieke observatie aan de LLM, waardoor NUMERR oploopt tot 16,9%.
   • Vervanging van Ranker: Houdt feiten gebaseerd op bewijs, maar verslechtert de naleving van selectieregels, wat resulteert in een 65,8% selectiefout.
   • Vervanging van Attributie: Verhoogt niet-ondersteunde causale taal, waarbij attributiefouten stijgen naar 24,5%.
   • Vervanging van Overdracht: Zelfs wanneer upstream-feiten deterministisch zijn, introduceert het vervangen van de compacte interface van bewijs naar schrijver opnieuw fouten (NUMERR 4,8%, ATTRERR 10,7%), wat aangeeft dat de interface zelf een betrouwbaarheidsmechanisme is.
3. Kostenefficiëntie: TFTS bereikt lagere end-to-end kosten dan baselines door gebruik te maken van één beperkte LLM-oproep in plaats van te vertrouwen op complexe, meerstaps-prompting of iteratieve verfijning binnen één oproep.

Betekenis en Claims
Het artikel betoogt dat voor gestructureerde gezondheidswerklasten met terugkerende analytische regels, deterministische code de analyse moet overnemen, terwijl LLMs beperkt moeten blijven tot het uiten van geverifieerde feiten binnen beperkte interfaces.

• Ontwerpregel: "Laat code snel denken over stabiele feiten en beleidsregels, en laat de LLM dan slim praten binnen geverifieerde grenzen."
• Faalmodi: De studie onthult dat specifieke analytische verantwoordelijkheden (rekenen, rankingbeleid, bewijsbeperking) vatbaar zijn voor falen wanneer ze worden gedelegeerd aan LLM's, zelfs wanneer de LLM syntactisch correcte outputs produceert.
• Reikwijdte: De auteurs positioneren dit als een aanvullende aanpak op Retrieval-Augmented Generation (RAG) en toolgebruik. Terwijl die methoden de contextretrieval of geleerde oproepen verbeteren, adresseert TFTS welke verantwoordelijkheden volledig uit runtime-prompting moeten worden verwijderd.
• Beperkingen: De studie richt zich op het behoud van een deterministisch referentiesysteem, niet op klinische optimaliteit of open-ended diagnose. Het partitioneringsprincipe is het meest toepasbaar op domeinen met gestructureerde invoer, stabiele regels en verifieerbare intermediaire stappen (bijvoorbeeld laboratoriumresultaten, vitale functies monitoring), in plaats van taken die open-ended klinisch redeneren vereisen.

De auteurs concluderen dat het vertrouwen op prompting met één oproep voor gestructureerde gezondheidsgeneratie onvoldoende is voor betrouwbaarheid en kostenefficiëntie, en pleiten voor een hybride architectuur waarbij code het "denken" verzorgt en LLM's het "praten" verzorgen.