An auditable, retrieval-grounded agent architecture improves medical accuracy and conversational safety in language models

Technische Samenvatting: Een Controleerbare, op Retrieval Gebaseerde Agent-architectuur

Probleemstelling
Algemene taalmodellen (LLM's) vertonen een hoge nauwkeurigheid bij medische examens, maar blijven onbetrouwbaar in klinische gesprekken. Het artikel identificeert specifieke faalmodi die inherent zijn aan standaard LLM's: ze gokken onder onzekerheid, verliezen context tijdens interacties met meerdere beurten, bevestigen foutieve premissen (sycofantie) en verzetten zich tegen controle. Deze fouten vormen aanzienlijke risico's voor de patiëntveiligheid, waaronder de versterking van delusieve overtuigingen en ongepaste reacties op zelfbeschadigingsintenties. De auteurs stellen dat veiligheid en betrouwbaarheid geen eigenschappen zijn van modelgewichten alleen, maar een systeemarchitectuur vereisen die kan uitstellen, overschrijven en redeneren reconstrueren.

Methodologie: De Asha Agent
Het artikel introduceert Asha, een neurosymbolische klinische agent die een algemeen taalmodel (de "backbone") omhult met vier deterministische, symbolische componenten en een auditlaag. Deze architectuur is ontworpen om te functioneren als een externe uitvoerende instantie, die compenseert voor de "snelle, modelvrije" aard van de backbone LLM.

1. Inzet-scoring (Gravity): Een symbolische laag wijst een klinische risico- en complexiteitsscore toe aan elke query. Deze "gravity"-score regelt de diepte van de berekening en stuurt queries naar verschillende niveaus van het systeem:
   • Asha Base: Een enkele, op retrieval gebaseerde pass.
   • Asha Mid: Een driemodel-fusie van op retrieval gebaseerde concepten uit verschillende families van frontier-modellen.
   • Asha Apex: Een multi-expert ensemble met een domeinspecialistische component, gereserveerd voor queries met een hoge inzet.
2. Retrieval Grounding: Kandidaat-antwoorden worden verankerd in bewijs dat is opgehaald uit een grote, gecureerde corpus van medische en wetenschappelijke bronnen (20 collecties, ~111 miljoen vectoren). Dit vermindert de afhankelijkheid van parametrische herinnering.
3. Inverse-Retrieval Falsificatie: Voordat een bewering wordt toegelaten, voert het systeem een inverse zoekopdracht uit naar ontkrachtend bewijs. Als er tegenstrijdig bewijs wordt gevonden, wordt het vertrouwen in de bewering verlaagd of het antwoord gewijzigd. (Opmerking: Deze fase werd uitgeschakeld voor de Professional accuracy run, maar was actief voor de Hard run).
4. Domeinspecifieke Compositie: Overlevende, gegronde inhoud wordt samengesteld tot één enkel, specialisme-gepast antwoord.
5. Controleerbaar Verslag: Elke interactie genereert een onveranderlijk, via hashes verankerd verslag van het gebruikte bewijs en een hash van de respons, opgeslagen in een Merkle-ledger. Dit stelt clinici of auditors in staat om het redeneerproces te reconstrueren en te verifiëren dat de records niet zijn gewijzigd.

Belangrijkste Bijdragen

• Architecturale Veiligheid: Het artikel toont aan dat veiligheidsverbeteringen architecturaal van aard zijn en niet model-specifiek. Door de backbone model vast te houden en alleen het omringende systeem te variëren, isoleren de auteurs de winst tot de architectuur zelf.
• Model-Agnostische Prestaties: Het systeem is ontworpen om model-agnostisch te zijn, waardoor het nieuwe frontier backbones kan adopteren terwijl het grounding, veiligheid en controleerbaarheid behoudt. Dit beschermt het systeem tegen het terugtrekken van specifieke propriëtaire modellen.
• Neurosymbolische Integratie: Het werk integreert neurale perceptie (vloeiende generatie) met expliciete symbolische redenering (beperkingen, verificatie en audit), waarmee de "amnesie" en "hallucinatie" faalmodi van zuivere neurale systemen worden geadresseerd.

Resultaten
De studie evalueert Asha over verschillende benchmarks met consistente, benoemde beoordelaars:

• HealthBench Professional (525 klinische vragen): Geëvalueerd onder de grader Claude Opus 4.8 (dezelfde grader die Anthropic voor haar eigen modellen gebruikt), scoorde Asha Apex 70,5% op de rubric content metriek, waarmee het de 66,0% van Claude Mythos 5 overtrof. Op de lengte-gecorrigeerde metriek bereikte de gecondenseerde configuratie van Asha 65,5%, wat gelijkwaardig is aan Mythos 5.
• HealthBench Standard (5.000 vragen): Asha Base scoorde 44,1% (tussen o1 en GPT-4.1 in), terwijl Asha Mid 60,6% bereikte (o3-klasse).
• HealthBench Hard (1.000 vragen): Deze set isoleert vragen waarbij frontier-modellen instorten. Asha Apex scoorde 44,8%, waarmee het elk geteste kale frontier model (bijv. GPT-5.2 op 40,3%, GLM-5.2 op 16,2%) overtrof. De architectuur vertoonde monotone winsten over de verschillende niveaus, waarbij Asha Mid 9,7 punten toevoegde aan Asha Base op de gedeelde subset.
• Onafhankelijke Replicatie: In een onafhankelijke pipeline die Asha vergeleek met commerciële klinische tools, overtrof Asha Apex zowel OpenEvidence (62,6%) als UpToDate Expert AI (61,3%) onder elke geteste grader-configuratie (72,6% vs. 62,6%/61,3%).
• Psychosis-Bench (Veiligheid): In een gecontroleerd experiment waarbij de backbone (gemini-2.5-flash) vaststond, bereikte het kale model een veilige interventieratio van 30,2%. Wanneer ingebed in de Asha-architectuur, steeg dit percentage naar 95,8% (P = 4,0 × 10⁻²³). Scores voor delusie-bevestiging en het faciliteren van schade daalden scherp. De hoogste laag (Asha Apex) bereikte een veilige interventie van 97,9% tegenover een kale open-weights model (GLM-5.2) dat 80,2% scoorde.
• MedQA: Asha scoorde 95,5% op een split van 1.273 vragen, vergelijkbaar met de sterkste frontier baselines.

Betekenis en Claims
Het artikel beweert dat de resultaten een enkele stelling ondersteunen: compositie rondom een algemeen taalmodel verhoogt zowel de medische nauwkeurigheid als de conversationele veiligheid, en de verbetering is een eigenschap van de architectuur en niet van een specifiek model.

De auteurs stellen dat schaal alleen klinische veiligheid of betrouwbaarheid niet oplost. In plaats daarvan creëert de integratie van symbolische redenering, gecureerde kennis en formele beperkingen (grounding, falsificatie, inzet-bewuste routing) een systeem dat:

1. Gegrond is: Beweringen zijn gekoppeld aan extern bewijs.
2. Falsifieerbaar is: Beweringen worden getest tegen ontkrachtend bewijs.
3. Veiligheid-gegate is: Hoog-risico queries triggeren deferentie (overgave) of escalatie.
4. Controleerbaar is: Elke beslissing laat een verifieerbaar, onveranderlijk verslag achter.

Het artikel positioneert deze architectuur als een noodzakelijke evolutie voor gereguleerde domeinen zoals de geneeskunde, waar het vermogen om aan te tonen waarom een antwoord is geproduceerd, te defereren wanneer de inzet de zekerheid overstijgt, en een inspecteerbaar verslag achter te laten, de standaard is voor een "fiduciary medical AI". De auteurs merken op dat hoewel de architectuur de prestaties verbetert, het de noodzaak voor menselijk toezicht niet wegneemt, met name voor de moeilijkste semantische oordelen die resistent zijn aan formele verificatie.