Impact of Label Noise from Large Language Models Generated Annotations on Evaluation of Diagnostic Model Performance

Probleemstelling

De validatie van AI-modellen voor medische beeldvorming vereist betrouwbare "ground truth"-labels. In de radiologie worden deze labels vaak afgeleid van vrije tekst-radiologieverslagen. Hoewel Large Language Models (LLMs) steeds vaker worden ingezet om deze labels op schaal te genereren, is er een kritiek risico: fouten in door LLM's gegenereerde labels kunnen de evaluatie van de prestaties van downstream-diagnostische modellen vertekenen.

De kern van het probleem is dat deze vertekening niet statisch is, maar sterk afhankelijk is van:

1. De prevalentie van de ziekte (hoe vaak komt de aandoening voor?).
2. De kwaliteit van de LLM (sensitiviteit en specificiteit van de labelgeneratie).
3. De werkelijke prestaties van het geëvalueerde model.

Zonder inzicht in deze dynamiek kunnen onderzoekers tot verkeerde conclusies komen over de klinische bruikbaarheid van een AI-model, wat leidt tot misleidende prestatie-inschattingen.

Methodologie

De auteurs ontwikkelden een uitgebreid simulatiekader om het effect van labelruis (noise) systematisch te analyseren.

• Dataset: Een synthetische dataset van 10.000 gevallen werd gegenereerd met variërende ziekteprevalenties (10%, 30%, 70%, 90%).
• Simulatie van de LLM: De LLM werd gemodelleerd als een imperfecte labeler. De sensitiviteit en specificiteit van de LLM werden onafhankelijk van elkaar gevarieerd van 90% tot 100% (in stappen van 1%).
• Simulatie van het Diagnostisch Model: Modellen werden gesimuleerd met een "ware" prestatie variërend van 90% tot 100% (zowel voor sensitiviteit als specificiteit).
• Evaluatiemethode: De door de LLM gegenereerde labels werden behandeld als de referentiestandaard (ground truth) om de prestaties van het diagnostische model te berekenen.
• Analyse van Onzekerheid:
  • Theoretische grenzen: Er werden analytisch een "best-case" (maximale overeenstemming tussen model en LLM) en "worst-case" (minimale overeenstemming) scenario's berekend om het mogelijke bereik van waargenomen prestaties te definiëren.
  • Monte Carlo-simulaties: Voor elke configuratie werden 5.000 onafhankelijke trials uitgevoerd om de empirische verdeling van de waargenomen prestaties te verkrijgen.

Belangrijkste Bijdragen

1. Kwantificering van Prevalentie-afhankelijke Bias: Het onderzoek demonstreert dat de impact van LLM-fouten fundamenteel wordt gemoduleerd door de ziekteprevalentie. Er is geen universele foutmarge; deze verschuift afhankelijk van hoe zeldzaam of frequent de ziekte is.
2. Asymmetrisch Effect van Fouten: Het paper onthult dat specifieke fouttypes (false positives vs. false negatives) verschillende impact hebben op de evaluatiemetrieken, afhankelijk van de prevalentie.
3. Empirische Validatie: Door Monte Carlo-simulaties te combineren met theoretische grenzen, tonen de auteurs aan dat de waargenomen prestaties systematisch naar beneden worden vertekend (underestimation), zelfs binnen de theoretisch berekende foutmarges.

Resultaten

De resultaten tonen duidelijke patronen op basis van de prevalentie:

• Lage Prevalentie (bijv. 10%):

  • De specificiteit van de LLM is de kritische factor.
  • Zelfs kleine dalingen in de LLM-specificiteit (bijv. van 100% naar 95%) leiden tot een drastische onderschatting van de waargenomen sensitiviteit van het model.
  • Voorbeeld: Bij een prevalentie van 10% en een LLM met 95% specificiteit, werd de sensitiviteit van een perfect model (100%) geschat op slechts ~53%.
  • De waargenomen specificiteit bleef daarentegen stabiel (>98%).

• Hoge Prevalentie (bijv. 90%):

  • Het patroon keert om: de sensitiviteit van de LLM wordt de kritische factor.
  • Vermindering van de LLM-sensitiviteit leidt tot een significante onderschatting van de waargenomen specificiteit.
  • De waargenomen sensitiviteit bleef hier stabiel hoog.

• Systematische Onderschatting:

  • Monte Carlo-simulaties toonden aan dat de verdeling van waargenomen waarden consistent onder de ware prestatie van het model lag.
  • Bij een prevalentie van 10% en een LLM-specificiteit onder de 95%, lag de volledige verdeling van geschatte sensitiviteit onder de ware waarde, wat betekent dat een nauwkeurige prestatie-inschatting fundamenteel onmogelijk werd.
  • Dit effect was consistent over modellen met verschillende kwaliteiten (90% tot 98% ware prestatie), hoewel de absolute onzekerheidsmarge iets smaller werd bij hogere modelkwaliteit.

Betekenis en Conclusie

De studie heeft belangrijke implicaties voor de implementatie en evaluatie van klinische AI:

1. Prevalentie-bewust Prompt Engineering: Er is geen "one-size-fits-all" prompt strategie. Voor zeldzame aandoeningen (lage prevalentie) moet de prompt zo worden ontworpen dat de specificiteit van de LLM wordt gemaximaliseerd om valse positieven te voorkomen. Voor veelvoorkomende aandoeningen is het optimaliseren van de sensitiviteit belangrijker.
2. Interpretatie van Evaluatiemetingen: Onderzoekers moeten zeer voorzichtig zijn bij het interpreteren van prestaties die zijn berekend met LLM-gemerkte data. Een lage geschatte sensitiviteit kan een artefact zijn van labelruis in plaats van een slecht presterend model.
3. Rapportage van Onzekerheid: Bij het gebruik van LLM's voor post-deployment evaluatie moet de bijbehorende schattingsfout of onzekerheidsmarge expliciet worden gerapporteerd om te voorkomen dat er te optimistische of te pessimistische conclusies worden getrokken.

Samenvattend waarschuwt dit onderzoek dat LLM-generatie van labels niet alleen onzekerheid introduceert, maar een systematische, prevalentie-afhankelijke bias creëert die de betrouwbaarheid van AI-evaluaties in de radiologie ernstig kan ondermijnen als niet adequaat wordt gecorrigeerd.