Technische Samenvatting: LADDER – Taalgestuurde Ontdekking van Slices en Foutcorrectie in Visuele Classifiers

1. Probleemstelling

Visuele classificaties vertonen vaak systematische fouten op specifieke gegevenssubsets, bekend als fout-slices (error slices), door spuriöse correlaties (biases) die tijdens de training zijn geleerd. Het identificeren van deze slices is cruciaal voor het verbeteren van de robuustheid van modellen, met name in gespecialiseerde domeinen zoals de radiologie, waar biases subtiel en domeinspecifiek kunnen zijn.

Huidige methoden voor slice-ontdekking kampen met drie primaire beperkingen:

1. Beperkte Attribuutbanken: Ze vertrouwen op vooraf gedefinieerde sets attributen of visuele tags, wat hun vermogen beperkt om nieuwe of complexe biases te ontdekken.
2. Gebrek aan Redenering en Domeinkennis: Ze missen vaak het gezond verstand of de gespecialiseerde domeinkennis (bijv. radiologische pathologie) die nodig is om complexe foutpatronen te interpreteren.
3. Onvermogen om Preprocessing-biases te Vangen: Ze negeren doorgaans biases die worden geïntroduceerd tijdens de gegevensvoorbereiding of preprocessing (bijv. metadata, DICOM-headers) die niet aanwezig zijn in de ruwe beeldpixels.

Bovendien vereisen bestaande mitigatiestrategieën vaak dure grondwaarheid-annotaties voor bias-attributen of gaan ze uit van voorkennis over het aantal en de typen biases, wat in realistische scenario's zelden beschikbaar is.

2. Methodologie: LADDER

LADDER (Language-Driven Slice Discovery and Error Rectification) is een framework dat gebruikmaakt van de redeneervaardigheden en de latente domeinkennis van Large Language Models (LLMs) om automatisch fout-slices te ontdekken en te mitigeren zonder dat expliciete attribuut-annotaties vereist zijn. De methode werkt in drie hoofdfasen:

A. Het ophalen van zinnen die indicatief zijn voor biases

LADDER begint met het analyseren van de interne activaties van een vooraf getrainde classifier $f$.

1. Projectie: Het leert een projectiefunctie $\pi$ om de beeldrepresentatieruimte ($\Phi$) van de classifier af te stemmen op een Vision-Language Representation (VLR) ruimte ($\Psi_I$), gebruikmakend van modellen zoals CLIP of domeinspecifieke varianten (bijv. CXR-CLIP).
2. Verschilschatting: Voor een specifieke klasse berekent het het verschil ($\Delta_I$) tussen de gemiddelde geprojecteerde representaties van correct geclassificeerde monsters en misgeclassificeerde monsters.
3. Retrieval: Deze verschilvector wordt gebruikt om de top-$K$ zinnen uit een tekstcorpus (bijv. beeldonderschriften, radiologieverslagen of metadata-logs) op te halen die semantisch het meest gelijkaardig zijn met het foutpatroon. Deze zinnen beschrijven visuele attributen die aanwezig zijn bij correcte voorspellingen maar ontbreken bij fouten.

B. Ontdekking van Fout-Slices via LLM

In plaats van ongesuperviseerde clustering, roept LADDER een LLM aan om de opgehaalde zinnen te analyseren.

1. Hypothesegeneratie: De LLM genereert een set toetsbare hypothesen ($H$) met betrekking tot potentiële biases (bijv. "De classifier vertrouwt op de aanwezigheid van borstbuizen").
2. Prompt Constructie: Voor elke hypothese genereert de LLM specifieke tekstprompts ($T$) die het attribuut in diverse contexten beschrijven.
3. Slice Identificatie: Het systeem berekent de gelijkenisscore ($s_H$) tussen de geprojecteerde representatie van een beeld en de gemiddelde embedding van de hypothese-specifieke tekstprompts. Beelden met lage gelijkenisscores (wat duidt op de afwezigheid van het gehypothetiseerde attribuut) worden gemarkeerd als een potentiële fout-slice. Als de foutmarge op deze subset significant hoger is dan de algemene klasse-foutmarge, wordt dit bevestigd als een fout-slice.

C. Mitigatie zonder Annotatie

LADDER mitigeert biases zonder handmatige labeling:

1. Pseudo-labeling: Het zet de gelijkenisscores om in waarschijnlijkheden om pseudo-labels (aanwezigheid/afwezigheid van de bias) toe te wijzen aan de trainingsdata.
2. Ensemble Fine-tuning: Volgens de Deep Feature Re-weighting (DFR) benadering creëert het gebalanceerde datasets voor elke hypothese en voert het fine-tuning uit op de lineaire kop van de classifier.
3. Inference: Tijdens de inference selecteert het systeem de gedebiaste classifier-kop die geassocieerd is met de hypothese die de maximale gelijkenisscore voor de invoerbeelden oplevert, wat effectief een ensemble van meerdere gedebiaste modellen vormt.

3. Belangrijkste Bijdragen

Het artikel schetst vijf primaire bijdragen:

1. Taalgestuurde Ontdekking: Het gebruik van natuurlijke taal (onderschriften, verslagen) om zinnen op te halen die indicatief zijn voor fouten, waardoor inzichten worden gevangen die verder gaan dan eenvoudige aanwezigheid/afwezigheid van attributen.
2. LLM Redenering en Domeinkennis: Het benutten van LLMs om hypothesen te genereren en latente domeinkennis toe te passen (bijv. het identificeren van specifieke ziekte subtypes of pathologische patronen) om genuanceerde biases te detecteren die tagging-modellen missen.
3. Model-Agnosticisme: Het vermogen om slices te detecteren van elke off-the-shelf gesuperviseerde model, ongeacht architectuur of pretraining-strategie, waarmee het aan de specifieke trainingsvereisten van methoden zoals Facts of DrML ontsnapt.
4. Voorbij Captions: Het uitbreiden van bias-detectie naar metadata (bijv. Electronic Health Records, DICOM-headers) door gestructureerde data om te zetten in tekst voor LLM-analyse.
5. Annotatievrije Mitigatie: Het gelijktijdig mitigeren van meerdere biases door pseudo-labels te genereren en fine-tuning uit te voeren, zonder voorafgaande kennis van het aantal of type biases.

4. Experimentele Resultaten

De auteurs evalueerden LADDER op 6 datasets (3 natuurlijke afbeeldingen: Waterbirds, CelebA, MetaShift; 3 medische beelden: NIH Chest-X-ray, RSNA-Mammo, VinDr-Mammo) met behulp van 200+ classifiers en 4 verschillende LLMs.

• Slice Ontdekking: LADDER presteerde aanzienlijk beter dan de baselines (Domino, Facts) in Precision@10, met een substantiële verbetering van 50% op medische beeldvormingsdatasets. Het identificeerde succesvol ground-truth biases zoals "borstbuizen" bij pneumothorax-detectie en "waterlichamen" bij vogelclassificatie.
• Bias Mitigatie: Wat betreft de Worst Group Accuracy (WGA), presteerde LADDER consequent beter dan state-of-the-art mitigatie-baselines (GroupDRO, JTT, DFR, etc.).
  • Op Waterbirds bereikte het een WGA van 91,4% (een verbetering van 3,6% ten opzichte van DFR).
  • Op RSNA-Mammo bereikte het 76,4% (een verbetering van 7,3%).
  • Op VinDr-Mammo bereikte het 82,5% (een verbetering van 21,1%).
  • Op NIH presteerde het 8,2% en 7,4% beter dan respectievelijk JTT en DFR.
• Robuustheid: De methode toonde consistente prestaties over verschillende architecturen (ResNet, ViT) en pretraining-strategieën (Supervised, Self-Supervised, CLIP).
• Zero-Shot Verbetering: De door LADDER geëxtraheerde attributen werden gebruikt om prompts te construeren die de zero-shot nauwkeurigheid van CLIP-gebaseerde modellen verbeterden, met winsten tot +19,05% op de NIH-dataset.

5. Betekenis en Claims

Het artikel claimt dat LADDER een kritieke kloof in het veld aanpakt: de behoefte aan een geautomatiseerde methode om meerdere biases te ontdekken en te mitigeren zonder voorafgaande kennis of dure annotaties.

• Generaliseerbaarheid: In tegenstelling tot eerdere methoden die beperkt zijn tot specifieke trainingsopstellingen of multimodale modellen, werkt LADDER op standaard ERM-getrainde classifiers.
• Domeinadaptatie: Door gebruik te maken van LLMs kan het framework redeneren over complexe, domeinspecifieke biases (bijv. radiologische bevindingen) die moeilijk te vangen zijn met vaste attributensets.
• Praktische Bruikbaarheid: De aanpak is kosteneffectief (totale LLM-kosten voor experimenten waren ~$28) en elimineert de bottleneck van handmatige attribuut-annotatie.

De auteurs concluderen dat LADDER een schaalbare, generaliseerbare aanpak biedt voor het blootleggen en aanpakken van systematische biases, wat potentieel de betrouwbaarheid en eerlijkheid van AI-modellen in zowel algemene computer vision als kritieke medische toepassingen kan verbeteren. Ze erkennen beperkingen, zoals een huidige afhankelijkheid van captions voor ontdekking (hoewel ze instructie-getunede modellen als workaround voorstellen) en de potentiële inherente biases van de gebruikte fundamentele LLMs.