Technische Samenvatting: MedFabric en EtHER

Probleemstelling

Grote Taalmodellen (LLM's) bezitten sterke semantische en redeneercapaciteiten, maar hallucineren frequent in expertdomeinen zoals de geneeskunde. Onder de verschillende soorten hallucinaties vormt fabricage—het genereren van vloeiende maar feitelijk onjuiste beweringen—het grootste risico in hoog-risicovolle gebieden.

Bestaande benaderingen voor het detecteren van medische hallucinaties staan voor twee kritieke beperkingen:

1. Data-tekorten: Huidige datasets voor medische hallucinaties (bijv. Med-HALT, MedHallu) vatten fabricageverschijnselen onvoldoende samen. Ze vertrouwen vaak op het verzamelen van correcte en incorrecte antwoorden uit uiteenlopende bronnen (mens versus LLM), wat leidt tot stilistische discrepanties en distributionele drift. Detectoren die op deze datasets zijn getraind, neigen te overfitten op oppervlakkige stilistische aanwijzingen (bijv. het onderscheiden van menselijke versus AI-schrijfstijlen) in plaats van te leren echte feitelijke inconsistenties te identificeren.
2. Modelfragiliteit: Bestaande detectoren (op embedding gebaseerd of LLM als rechter) presteren slecht wanneer de structurele gelijkenis tussen grondwaarheid en gefabriceerde steekproeven hoog is. Embedding-modellen falen in het onderscheiden van subtiele woordniveau-afwijkingen, terwijl zero-shot LLM-evaluators hoge variantie en inconsistentie vertonen door bemonsteringsrandomiteit en promptgevoeligheid.

Methodologie

De auteurs stellen een unificerend, data-gedreven kader voor dat bestaat uit een nieuwe dataset-generatiepijplijn (MedFabric) en een modulair detectiesysteem (EtHER).

1. MedFabric: Een data-gedreven generatiepijplijn

Om het gebrek aan realistische fabricagedata aan te pakken, hebben de auteurs een drie-traps pijplijn ontwikkeld om fabricage op woordniveau te genereren die syntactische en stilistische trouw behoudt terwijl subtiele feitelijke afwijkingen worden geïntroduceerd:

• Stilistische Uitlijning: Door mensen geschreven grondwaarheden worden herschreven door een LLM om uit te lijnen met LLM-stilistische distributies, waardoor de "mens versus AI"-stilistische shortcut wordt geëlimineerd.
• Evidentie-geconditioneerde Fabricage: Fabricages worden gegenereerd door de LLM te conditioneren op de herschreven grondwaarheid en specifieke evidentie-chunks. Dit zorgt ervoor dat de gefabriceerde tekst contextueel coherent blijft, maar introduceert fijnmazige feitelijke fouten (bijv. het veranderen van een soort van "mens" naar "rat").
• Kwaliteitscontrole: Een tweestaps evaluatieproces zorgt ervoor dat de gegenereerde fabricages uitdagend zijn:
  • Structurele Gelijkenis: Gemeten via ROUGE-L recall; steekproeven met scores onder de 0,7 worden verworpen om ervoor te zorgen dat de fabricage niet te divergent is.
  • Semantische Moeilijkheidsgraad: Een self-play preferentie-optimisatie (SPPO)-strategie wordt gebruikt waarbij een LLM-agent probeert de fabricage te onderscheiden van de herschreven grondwaarheid. Alleen fabricages die de agent "blind" maken (d.w.z. die verkeerd worden geclassificeerd) worden behouden, zodat de dataset echte faalmodi vastlegt.

2. EtHER: Een modulaire detector voor fabricage op woordniveau

Om de beperkingen van bestaande detectoren aan te pakken, introduceren de auteurs EtHER (EvaluaTe Hallucination with TablE decomposition and woRd masking), een kader ontworpen voor stabiele, interpreteerbare en woordniveau-feitelijke beoordeling. Het bestaat uit drie modules:

• Text2Table Decompositie: Ongestructureerde medische beweringen worden omgezet in gestructureerde tabelletjes van entiteit-beschrijving. Dit decomposeert complexe zinnen in entiteit-contextparen (bijv. "TGFBI-expressie" $\to$ "ongunstige lymfatische recidief"), wat de semantische interpreteerbaarheid verbetert en contextuele ambiguïteit vermindert.
• Woordmaskering en Invullen: Het systeem genereert gemaskerde versies van de entiteit-beschrijvingstabelletjes. Een LLM, geleid door een domeinspecifiek Retrieval-Augmented Generation (RAG)-systeem, vult deze maskers met letterlijke zinsdelen uit opgehaalde evidentie. Dit creëert gepaarde reconstructies die directe, fijnmazige vergelijking mogelijk maken tussen de output van het model en geverifieerde kennis.
• Hybride Zinparen Evaluatie: Om LLM-randomiteit te minimaliseren en stabiliteit te verbeteren, hanteert het systeem een hybride aanpak:
  1. Op embedding gebaseerde filtering: Zinparen worden gecodeerd om de semantische afstand te meten; paren die een drempel overschrijden, worden gemarkeerd.
  2. Op LLM gebaseerd redeneren: Gemarkeerde kandidaten worden opnieuw geëvalueerd door een LLM-agent om feitelijke conflicten te onderscheiden van onschadelijke lexische variaties.
  3. Regelgebaseerde Aggregatie: Eindbeslissingen worden geaggregeerd via een regelgebaseerde laag om fabricage op antwoordniveau te bepalen.

Belangrijkste Resultaten

Empirische evaluaties op de MedFabric-dataset en bestaande benchmarks (MedHallu, Herschreven Grondwaarheid) tonen het volgende aan:

• Superieure Prestaties bij Subtiele Fabricages: EtHER presteert op benchmarks voor fabricage op woordniveau meer dan 15% beter dan state-of-the-art detectoren (waaronder SAPLMA, RelD, TSV en GCA). Specifiek op MedFabric (hoge structurele gelijkenis, ROUGE-L $\approx$ 0,77) bereikt EtHER een totale F1-score van 60,6%, vergeleken met een gemiddelde van 44,3% voor andere modellen.
• Verbeterde Recall: EtHER haalt bijna twee keer zoveel fabricages op als het modelgemiddelde (68,6% versus 34,8%) terwijl het vergelijkbare prestaties behoudt op waarheidsgetrouwe antwoorden.
• Robuustheid tegen Structurele Gelijkenis: In tegenstelling tot fijngetuneerde modellen die sterk degraderen naarmate de structurele gelijkenis toeneemt (dalend van ~69% F1 op data met lage gelijkenis naar ~42% op MedFabric), behoudt EtHER stabiele prestaties (60–70% F1) over datasets met variërende structurele gelijkenissen.
• Lage Variantie: Ondanks het gebruik van meerdere generatiestappen vertoont EtHER een voorspellingsvariantie die vergelijkbaar is met single-step zero-shot LLM-evaluators, toegeschreven aan het beperkte, precieze karakter van zijn subtaken (maskeren en invullen) wat autoregressieve randomiteit reduceert.

Betekenis en Claims

Het artikel claimt een unificerend paradigma te vestigen voor het bestuderen en mitigeren van fabricage-type medische hallucinaties. De primaire bijdragen zijn:

1. Ondekking van Stilistische Bias: Het benadrukken dat bestaande detectoren vaak vertrouwen op stilistische patronen tussen grondwaarheid en gefabriceerde steekproeven in plaats van feitelijke inhoud, wat leidt tot spuriële classificatie.
2. Realistische Data-simulatie: Het leveren van een data-generatiepijplijn die realistische medische fabricagescenario's simuleert, resulterend in de MedFabric-dataset, die een rigoureuze benchmark biedt met hoge structurele gelijkenis en subtiele semantische verschuivingen.
3. Detectiekader op Woordniveau: Het voorstellen van EtHER, een detector die uitlijnt met fabricage op woordniveau door gestructureerd redeneren en feitelijke uitlijning, en die een schaalbare basis biedt voor betrouwbare LLM-systemen in hoog-risicovolle medische toepassingen.

De auteurs positioneren dit werk als een stap in de richting van het verminderen van de werkdruk voor medische experts bij het verifiëren van patiëntconsultaties en het verbeteren van de betrouwbaarheid van LLM's in domeinen waar feitelijke precisie kritiek is.