Answer Engineering: Local Trajectory Editing for Protocol-Constrained Decision Making in Large Language Models

Technische Samenvatting: Answer Engineering

Probleemstelling
Large Language Models (LLM's) genereren vaak zelfverzekerde maar onjuiste antwoorden in domeinen die een strikte naleving van procedurele protocollen vereisen, zoals de klinische geneeskunde. Hoewel stapsgewijze redeneertechnieken (bijv. Chain-of-Thought) de structuur en transparantie verbeteren, falen ze vaak bij het voorkomen van fouten in door protocollen beperkte omgevingen. In plaats van fouten te elimineren, verschuift redeneren vaak de distributie van de fouten. Empirische studies wijzen erop dat modellen verklaringen kunnen genereren die fungeren als post-hoc rationalisaties in plaats van getrouwe afleidingen van het uiteindelijke antwoord. Bijgevolg kunnen modellen zich vroegtijdig vastleggen op een beslissing en deze rationaliseren, of tussenstappen genereren die inconsistent zijn met domeinregels. In gereguleerde omgevingen kan een antwoord plausibel lijken, maar operationeel ongeldig zijn als het verplichte procedurele controles of onderscheidten weglaat. Bestaande benaderingen, inclus\nslief prompting, constrained decoding en post-hoc validatie, pakken deze problemen vaak indirect, globaal of pas na voltooiing van de generatie aan, waardoor ze niet kunnen ingrijpen binnen het evoluerende redeneertraject zelf.

Methodologie: Answer Engineering
Dit artikel stelt Answer Engineering voor, een deterministische runtime- en auteurlaag die zorgt voor lokale trajectinterventie tijdens autoregressieve generatie. In tegenstelling tot methoden die modelhertraining of globale zoekopdrachten vereisen, fungeert Answer Engineering als een controleoppervlak over standaard decoding, waarbij protocolnaleving wordt afgedwongen door middel van regelgebaseerde bewerkingen van het gegenereerde redeneertraject.

De kern van het mechanisme berust op de eigenschap van prefix-geconditioneerde decoding: in een autoregressieve transformer hangt de distributie van toekomstige tokens uitsluitend af van de zichtbare prefix. Daarom herdefiniëren lokale bewerkingen aan het redeneertraject de context voor de daaropvolgende generatie zonder de modelparameters te wijzigen.

Het framework implementeert drie klassen van interventie, getriggerd door declaratieve regels opgesteld door domeinexperts:

1. Het Verleden Bewerken (Retroactieve Span Vervanging): Wanneer een trigger een overtreding aangeeft (bijv. een onjuiste inferentie), vervangt het systeem de betreffende span door een geldige kandidaat geselecteerd op basis van de model-likelihood.
2. Selecteren Onder Recente Continuaties (Lokale Rollback): Bij detectie van een trigger voert het systeem een rollback uit naar het begin van de edit-scope, genereert meerdere kandidaat-continuaties en selecteert de hoogst scorende geldige optie volgens de protocolregels.
3. De Toekomst Afdwingen (Insertie): Als een protocol een specifieke verklaring vereist (bijv. een urgentie-waarschuwing), voegt het systeem een vooraf gedefinieerde geldige kandidaat toe aan de huidige prefix en zet de generatie voort via deze afgedwongen tokens.

De runtime werkt als een controlelus: het monitort het traject op regel-triggers, stelt kandidaat-bewerkingen voor, scoort deze met de eigen likelihood-functie van het model, en past de geselecteerde interventie toe voordat de decoding wordt hervat. Dit proces omvat het opnieuw opbouwen van de KV-cache vanaf het vroegst gemodificeerde token om ervoor te zorgen dat de generatie voortzet vanuit de gecorrigeerde staat.

Belangrijkste Bijdragen
Het artikel levert drie primaire bijdragen:

1. Een Decoding-Time Runtime Mechanisme: Een framework voor het afdwingen van protocolnaleving door middel van lokale trajectinterventie tijdens de generatie, wat de noodzaak voor modelhertraining of globale zoekopdrachten elimineert.
2. Een Regelgebaseerde Controle-abstractie: Een methode voor het specificeren van domeinspecifieke procedurele beperkingen als interpreteerbare traject-bewerkingsoperaties, waardoor domeinexperts toegestane bewerkingen kunnen definiëren zonder de modelcode aan te passen.
3. Empirische Evaluatie: Een demonstratie dat stapsgewijze redenering alleen de naleving van protocollen in gestructureerde besluitvormingstaken kan verminderen, en dat lokale trajectinterventie de naleving van protocollen aanzienlijk kan verbeteren.

Experimentele Resultaten
De aanpak werd geëvalueerd op een klinische benchmark betreffende Sudden Sensorineural Hearing Loss (SSNHL), waarbij differentiaaldiagnose vereist is tussen SSNHL en conductieve gehoorverlies op basis van Weber en Rinne stemvorkbevindingen. De evaluatie maakte gebruik van een deterministische dataset van 2.000 synthetische gevallen (1.000 SSNHL, 1.000 conductief) en het OpenMeditron/Meditron3-8B model.

Belangrijke bevindingen zijn onder meer:

• Falen van de Redeneer-baseline: Onder een stapsgewijze redeneer-baseline daalde de mate van compliantie voor de doelconditie SSNHL van 54,5% (ongestuurd) naar 25,1%, terwijl de prestaties op de contrastieve conductieve conditie toenamen van 1,6% naar 58,9%. Dit geeft aan dat redeneren alleen de fouten verschoof in plaats van ze te voorkomen.
• Succes van Trajectbewerking: Het toepassen van de volledige trajectbewerkingsstack (combinatie van lokale validatie, vervanging en geforceerde insertie) verhoogde de compliantie voor de doelconditie SSNHL naar 83,5% en de protocolnaleving voor de contrastieve conductieve conditie naar 77,9%.
• Gebalanceerde Accuratesse: De gebalanceerde accuratesse over beide condities verbeterde van 42,0% (redeneer-baseline) naar 80,7% met trajectbewerking.
• Runtime Overhead: De interventie veroorzaakte een vertraging van 2,78× voor SSNHL-gevallen en 1,33× voor conductieve gevallen ten opzichte van de redeneer-baseline.
• Falanalyse: De auteurs merken op dat hoewel de methode de resultaten aanzienlijk verbetert, het geen uniforme redeneerstabiliteit garandeert. In sommige gevallen vertoont het model "commitment persistence", waarbij het herhaaldelijk probeert voortijdig tot een diagnose te komen ondanks herhaalde lokale reparaties.

Betekenis en Claims
Het artikel claimt dat Answer Engineering aantoont dat betrouwbaarheid in protocolgestuurde redenering niet uitsluitend een eigenschap is van modeltraining, maar kan worden behandeld als een operationele eigenschap die wordt gevormd door runtime-controle. De resultaten suggereren dat veel fouten in protocolbeperkte generatie structurele schendingen zijn (bijv. weggelaten stappen, lokale inconsistenties) die kunnen worden gecorrigeerd door middel van domeinspecifieke protocollen zonder hertraining.

De auteurs positioneren dit werk als een haalbaarheidsstudie onder gestructureerde omstandigheden. Ze stellen expliciet dat de evaluatie een goed gedefinieerde diagnostische grens isoleert om redeneerfouten observeerbaar en corrigeerbaar te maken. Ze beweren niet dat dit een algemene oplossing is voor alle problemen met redeneerbetrouwbaarheid, waarbij ze erkennen dat real-world workflows interactieve protocollen, gedeeltelijke observeerbaarheid en evoluerende richtlijnen inhouden. De betekenis ligt in het bieden van een systeemniveau perspectief waarbij protocolnaleving wordt geëngineerd door middel van expliciete controle van het generatiegedrag, wat een pad biedt om naleving te verbeteren in gereguleerde domeinen waar standaard redeneertechnieken onvoldoende zijn gebleken.