Technische Samenvatting: Consensusmaten voor Ongestructureerde Biomedische Tekstannotaties

Probleemstelling

Biomedische literatuur wordt steeds vaker hergebruikt voor kennisextractie die de oorspronkelijke scope van de studies overstijgt, zoals het identificeren van moleculaire doelwitten of de toxiciteit van behandelingen. In deze exploratieve settings zijn doelconcepten niet vooraf bekend, wat annotatoren ertoe brengt om de voorkeur te geven aan open eind, ongestructureerde tekstlabels boven vooraf gedefinieerde categorieën. Terwijl Inter-Rater Betrouwbaarheid (IRR) standaard is voor het beoordelen van de kwaliteit van gecodificeerde annotaties met discrete categorieën (bijv. Cohen's $\kappa$), schieten conventionele maten tekort in open scenario's. Traditionele IRR vertrouwt op identiteit (exacte string-matching), wat ongepast is wanneer menselijke experts of geautomatiseerde systemen hetzelfde onderliggende biomedische concept beschrijven met verschillende termen (bijv. "Fatigue" vs. "Weakness" vs. "Asthenia"). Dit creëert een methodologische kloof: er is geen gestandaardiseerde, systematische manier om overeenstemming te kwantificeren bij ongestructureerde tekstannotaties waar semantische equivalentie, in plaats van lexicale identiteit, de consensus bepaalt.

Methodologie

De auteurs stellen "Soft IRR" voor en evalueren dit, een framework dat binaire overeenstemming vervangt door een continue maat voor semantische equivalentie $\hat{P}(a \equiv b)$. De studie onderzoekt twee scenario's:

1. Single-Text IRR: Het direct vergelijken van twee individuele tekstannotaties.
2. Set-Matching IRR: Het vergelijken van twee sets annotaties (bijv. meerdere concepten geëxtraheerd uit een enkel document), waarbij een oplossing voor het toewijzingsprobleem vereist is om elementen tussen sets optimaal te matchen.

Equivalentie-schatters

Het artikel evalueert een breed scala aan semantische equivalentiematen:

• Set-Overlap: Jaccard-coëfficiënt en Measuring Agreement on Set-valued Items (MASI).
• Edit-Distance: Levenshtein, Indel en Longest Common Subsequence (LCS) afstanden.
• Semantische Gelijkenis: Cosinus-gelijkenis met behulp van sentence embeddings (bijv. PubMedBERT, Qwen3-0.6B).
• Natural Language Inference (NLI): Modellen voor wederzijdse implicatie (bijv. mDeBERTa-v3, PubMedBERT gefinetuned op MedNLI) die bepalen of de ene tekst de andere impliceert.
• LLM-as-a-Judge: Het gebruik van Large Language Models (bijv. MedGemma-4B, Qwen3.5-9B) om wederzijdse implicatie te voorspellen via log-waarschijnlijkheden of verbaal geproduceerde JSON-outputs.

Experimenteel Ontwerp

De evaluatie maakt gebruik van een tweeledige aanpak:

1. Synthetische Experimenten: Gebruikmakend van gecontroleerde biomedische terminologieën (ICD-11, MeSH, MedDRA), genereren de auteurs grondwaarheid-overeenstemmingsniveaus door synoniemen te samplen en gecontroleerde "negatieve" voorbeelden te introduceren (siblings, generalisaties en lexicale overlappingen). Dit maakt een nauwkeurige berekening van de Mean Absolute Error (MAE) tussen de geschatte soft IRR en de grondwaarheid-IRR mogelijk.
2. Real-World Experimenten: Evaluatie op twee datasets met vrije tekstannotaties en bekende grondwaarheid-mappings naar gestandaardiseerde terminologieën:
   • Derm1M: Dermatologische beeldbeschrijvingen gemapt naar huidconcepten.
   • REFLACX: Borstfoto-rapporten met radioloog-annotaties gemapt naar anomalie-labels.

Voor set-matching scenario's vergelijken de auteurs greedy matching met het Hongaarse algoritme voor optimale toewijzing.

Belangrijkste Bijdragen

1. Systematische Vergelijking: Het artikel biedt de eerste systematische vergelijking van diverse semantische equivalentiematen (embeddings, NLI, LLM's, edit-distance) voor soft IRR, waarbij hun prestaties en specifieke foutmodi tegen de grondwaarheid worden geanalyseerd.
2. Set-Matching Extensie: De auteurs breiden soft IRR uit naar set-gewalueerde annotaties, waarbij zij methoden voorstellen om het toewijzingsprobleem tussen twee sets ongestructureerde tekst op te lossen en de impact van optimale (Hongaarse) versus greedy matching evalueren.
3. NLI-gebaseerd Voorstel: De studie introduceert en valideert het gebruik van NLI-modellen voor het berekenen van soft IRR, waarbij het wordt geframed als een paraphrase detectie-taak via wederzijdse implicatie.
4. Foutmodus-analyse: Door middel van gecontroleerde negatieve sampling identificeert het artikel dat embedding-gebaseerde benaderingen moeite hebben met het onderscheiden tussen gelijkaardige maar niet-equivalente concepten (bijv. generalisaties), terwijl NLI- en LLM-gebaseerde benaderingen robuuster zijn.

Resultaten

• Prestaties: Deep learning-gebaseerde maten (NLI, embeddings, LLM's) presteren over het algemeen beter dan exacte matching, set-overlap en edit-distance methoden in synthetische settings, met name in het vastleggen van semantische nuances.
• Foutmodi: Embedding-gebaseerde modellen vertonen hoge foutpercentages wanneer ze worden geconfronteerd met "generalisatiefouten" (bijv. een specifiek concept versus de ouder-categorie), omdat ze gelijkenis verwarren met equivalentie. In tegenstelling hiertoe behouden NLI- en LLM-gebaseerde maten lagere foutpercentages over verschillende soorten onenigheden.
• Schaalbaarheid vs. Nauwkeurigheid: Hoewel LLM's (vooral de verbaal geproduceerde varianten) een hoge nauwkeurigheid bereiken, zijn ze computationeel duur, wat de schatting van de kansovereenkomst ($p_e$) via Monte Carlo-sampling moeilijk maakt voor grote datasets. NLI-modellen bieden een "redelijk compromis", waarbij ze schaalbaarheid balanceren met robuuste prestaties.
• Real-World Validatie: Op real-world datasets (Derm1M, REFLACX) bereikten de beste soft maten MAE's tussen 0.005 en 0.065 ten opzichte van de grondwaarheid-IRR, wat de praktische levensvatbaarheid aantoont. NLI-gebaseerde benaderingen bleken de meest robuuste over verschillende datasets.

Betekenis en Claims

Het artikel claimt de eerste te zijn die de IRR voor ongestructureerde tekstannotaties op deze wijze kwantificeert, waarmee de beperkingen van discrete categorie-overeenstemming worden overstegen. De auteurs stellen dat de keuze van de equivalentiemaat een significante impact heeft op de geschatte betrouwbaarheid van annotatietaken. Zij concluderen dat hoewel embeddings schaalbaar zijn en LLM's accuraat zijn, NLI-gebaseerde maten het beste compromis vormen voor ongestructureerde biomedische annotatietaken vanwege hun vermogen om diverse soorten semantische onenigheden te behandelen terwijl ze computationeel haalbaar blijven.

De studie is bescheiden in haar reikwijdte en erkent beperkingen zoals de restrictie tot biomedische datasets (die mogelijk niet generaliseren naar andere domeinen), de niet-uitputtende aard van de geteste maten, en het potentieel dat synthetische experimenten eenvoudiger zijn dan real-world scenario's door pretraining op vergelijkbare terminologieën. Het werk stelt geen nieuwe toekomstige toepassingen voor, maar legt een methodologisch fundament voor het beoordelen van de betrouwbaarheid van open-ended biomedische data-extractie.