Can Language Models Identify Side Effects of Breast Cancer Radiation Treatments?

Technische Samenvatting: Kunnen Taalmodellen Bijwerkingen van Bestralingstherapieën bij Borstkanker Identificeren?

Probleemstelling
Het nauwkeurig communiceren van bijwerkingen van behandelingen is cruciaal voor kankeroverlevenden, met name bij geïnformeerde toestemming en het plannen van nazorg. Deze taak wordt echter bemoeilijkt door gefragmenteerde data uit elektronische patiëntendossiers (EHR) en tekorten aan klinische kennis met betrekking tot langetermijntoxiciteiten van behandelingen. Hoewel Large Language Models (LLM's) potentie bieden om deze effecten samen te vatten en te communiceren, blijft hun betrouwbaarheid in de oncologie slecht begrepen. Specifiek is het onduidelijk hoe LLM's presteren wanneer patiëntdocumentatie varieert in specificiteit (bijvoorbeeld algemene vermeldingen van bestraling versus specifieke anatomische doelen), hoe ze omgaan met verschillende prompting-strategieën, en of ze zeldzame of langetermijnbijwerkingen die essentieel zijn voor nazorg betrouwbaar kunnen vastleggen.

Methodologie
De auteurs stellen een op implementatie gerichte stress-testframework voor om de betrouwbaarheid van LLM's bij het identificeren van bijwerkingen van bestraling bij borstkanker te evalueren. Het onderzoek maakt gebruik van 21 synthetische profielen van patiënten met borstkanker, afgeleid van openbare datasets (Chen et al., 2023; Palepu et al., 2025).

• Experimenteel Ontwerp: Voor elk patiëntprofiel creëerden de auteurs gepaarde versies: een "Basisprofiel" dat bestraling algemeen noemt, en een "Gespecificeerd Profiel" dat specifieke bestralingssoorten of anatomische locaties toevoegt (bijvoorbeeld "borstwand", "klieren"). Alle andere klinische informatie bleef constant om het effect van documentatiespecificiteit te isoleren.
• Grondwaarheid: Een door clinici samengestelde referentielijst werd ontwikkeld door een team van meer dan zeven radiotherapeuten gespecialiseerd in borstbestraling, die bestralingsmodaliteiten en locaties koppelden aan vastgestelde bijwerkingen. Elke bijwerking werd geannoteerd op frequentie (Vaak tot Uiterst Zeldzaam) en tijdstip van optreden (Kortetermijn versus Langetermijn).
• Geëvalueerde Modellen: Zeven instructie-geoptimaliseerde LLM's werden getest: LLaMA-3.1-8B, Gemma-2-9B, Mistral-7B, Qwen-2.5-7B, Phi-3-Medium, O4-Mini en GPT-5.3.
• Prompting-regimes: Vier regimes werden geëvalueerd:
  1. Vrije generatie (onbeperkt).
  2. Vrije generatie met een beperking op het aantal items (20–30 items).
  3. Selectie uit een vooraf gedefinieerde, door clinici samengestelde lijst.
  4. Selectie uit een vooraf gedefinieerde lijst met een beperking op het aantal items.
• Evaluatiemetingen: Standaard precisie, recall en F1-scores werden berekend tegen de clinische referentie. Daarnaast werd een Overlap Ratio berekend tussen outputs van basis- en gespecificeerde profielen om robuustheid tegen kleine wijzigingen in documentatie te meten. Semantische matching werd uitgevoerd met een LLM om gegenereerde tekst af te stemmen op de grondwaarheid, gevalideerd tegen menselijke beoordeling met 96% overeenstemming.

Belangrijkste Resultaten

• Trade-off tussen Precisie en Recall: Bij vrije generatie vertoonden modellen significante divergentie. Sommige (bijvoorbeeld Gemma-2-9B, O4-Mini, GPT-5.3) behaalden hoge precisie maar lage recall, waarbij ze veel relevante effecten misten. Anderen (bijvoorbeeld LLaMA-3.1-8B) produceerden brede lijsten met gematigde recall maar zeer lage precisie, waarbij ze hallucinaties of anatomisch irrelevante toxiciteiten genereerden.
• Invloed van Beperkingen op Aantal Items: Het opleggen van een beperking op het aantal items (20–30 items) bij vrije generatie verlaagde consistent de precisie bij alle modellen zonder de recall betrouwbaar te verbeteren. Dit suggereert dat het forceren van lengte-doelen prikkels biedt voor het fabriceren van onjuiste bijwerkingen.
• Verankering Verbeterd Betrouwbaarheid: Wanneer modellen werden beperkt tot selectie uit een door clinici samengestelde lijst, verbeterden precisie en recall aanzienlijk bij alle modellen. In deze verankerde setting verhoogden beperkingen op het aantal items over het algemeen de recall zonder de ernstige dalingen in precisie die bij vrije generatie werden waargenomen.
• Gevoeligheid voor Documentatie: Modellen vertoonden lage overlap-ratio's tussen basis- en gespecificeerde profielen, wat aangeeft dat kleine wijzigingen in documentatie (bijvoorbeeld het specificeren van een locatie) leidden tot aanzienlijke verschuivingen in de gegenereerde lijsten met bijwerkingen.
• Gaten in Nazorg: De meeste modellen recallde systematisch zeldzame en langetermijnbijwerkingen te weinig, met de voorkeur voor veelvoorkomende, kortetermijntoxiciteiten. Opmerkelijke uitzonderingen waren O4-Mini en GPT-5.3, die een sterkere recall voor langetermijneffecten vertoonden.

Belangrijkste Bijdragen

1. Stress-testframework: Introductie van een framework voor het evalueren van LLM's in de oncologie dat nadruk legt op klinisch betekenisvolle perturbaties (documentatiespecificiteit) en onderscheidend vermogen voor nazorg (frequentie, tijdstip van optreden) in plaats van abstracte benchmarks.
2. Gestructureerde Evaluatie: De eerste gestructureerde experimentele analyse van hoe prompting-strategieën, documentatiespecificiteit en kenmerken van bijwerkingen gezamenlijk de prestaties van LLM's beïnvloeden bij het genereren van bijwerkingen van bestraling bij borstkanker.
3. Ontwerpaanbeveling: Aantonen dat het verankeren van LLM-outputs in door experts samengestelde vocabulaires de betrouwbaarheid aanzienlijk verbetert, wat een praktische ontwerpkies biedt voor veiligere toepassingen.
4. Openbare Bron: Publicatie van een dataset met 21 patiëntprofielen gekoppeld aan een door oncologen geannoteerde set van bestralingsbehandelingen en bijwerkingen.

Betekenis en Claims
Het artikel betoogt dat hoewel LLM's veelbelovend zijn, hun huidige betrouwbaarheid in de oncologie beperkt wordt door gevoeligheid voor formulering van input, een neiging tot hallucinaties in onbeperkte omgevingen, en een bias naar veelvoorkomende, acute bijwerkingen ten opzichte van zeldzame, langetermijneffecten. De auteurs claimen dat hun bevindingen de noodzaak benadrukken om LLM's te verankeren in door experts samengestelde lijsten voor hoog-risico klinische taken zoals geïnformeerde toestemming en educatie over nazorg. Zij benadrukken dat toepassing-gedreven evaluatie, die rekening houdt met variabiliteit in documentatie en klinische nuances, essentieel is voordat LLM's worden ingezet in tools voor patiënten. Het werk dient als voorloper voor complexere workflow-integraties, en pleit voor rigoureuze stress-tests om veiligheid en bruikbaarheid in de nazorg voor kankeroverlevenden te waarborgen.