GATech at AbjadMed: Bidirectional Encoders vs. Causal Decoders: Insights from 82-Class Arabic Medical Classification

Dit artikel toont aan dat voor de classificatie van Arabische medische teksten in 82 categorieën gespecialiseerde bidirectionele encoders (zoals AraBERTv2) aanzienlijk beter presteren dan causale decoders, omdat ze een meer robuuste globale semantische context vastleggen die essentieel is voor nauwkeurige fijnkorrelige categorisatie.

De kern

🏥 De Medische Vertaalrobot: Waarom een 'Slimme Zoeker' beter werkt dan een 'Grote Verteller'

Stel je voor dat je een enorme bibliotheek hebt met 82 verschillende vakken voor medische vragen in het Arabisch. De uitdaging is om elke vraag die een patiënt stelt, precies in het juiste vakje te plaatsen.

Soms is de vraag heel duidelijk ("Ik heb een pijnlijke knie"), maar vaak is het lastig. De bibliotheek heeft een groot probleem:

1. Onbalans: Sommige vakken (zoals "Algemene Geneeskunde") zijn volgepropt met duizenden vragen, terwijl andere (zoals "Vruchtbaarheidsbehandeling") maar met zeven vragen zijn gevuld.
2. Verwarrende labels: Soms staat er een vraag over een huiduitslag in het vak "Algemene Geneeskunde" in plaats van "Huidziekten". De labels zijn niet altijd 100% perfect.

De onderzoekers van Georgia Tech (GATech) wilden weten: Wat werkt het beste om deze vragen in te delen?

• Optie A: Een gespecialiseerde "Zoeker" (een Bidirectionele Encoder, zoals AraBERT).
• Optie B: Een gigantische "Verteller" (een Causal Decoder, zoals Llama of Qwen).

Hier is wat ze ontdekten, vertaald naar alledaagse beelden:

1. De "Zoeker" vs. De "Verteller"

De "Zoeker" (AraBERT): De Expert die alles in één oogopslag ziet
Stel je een medische expert voor die een patiëntendossier leest. Deze expert kijkt gelijktijdig naar het begin, het midden en het einde van de tekst.

• De analogie: Het is alsof je een foto van een heel raadsel hebt en je kunt direct zien hoe alle stukjes passen. Als de patiënt zegt: "Mijn maag doet pijn sinds gisteren en ik heb koorts", ziet de expert direct het volledige plaatje. Hij weet dat "maag" en "koorts" samen een specifiek ziektebeeld vormen.
• Het geheim: De onderzoekers maakten deze expert nog slimmer door twee manieren van kijken te combineren:
  1. Gemiddelde: Een snelle blik op het hele verhaal.
  2. Aandacht: Een vergrootglas dat specifiek zoekt op belangrijke woorden (zoals "diabetes" of "hart").
  • Resultaat: Deze expert werd getraind om zelfs de lastigste, zeldzame vakjes te vinden, zelfs als er maar weinig voorbeelden van waren.

De "Verteller" (Llama/Qwen): De Verhalenverteller die in één richting kijkt
Deze modellen zijn ontzettend groot en slim. Ze kunnen prachtige verhalen schrijven en redeneren. Maar ze zijn getraind om woorden één voor één te voorspellen (zoals een tekst die je schrijft terwijl je leest).

• De analogie: Stel je voor dat je een verhaal leest, maar je mag alleen naar de woorden kijken die je reeds hebt gelezen. Je kunt niet terugkijken naar het begin om te zien wat er later in de zin staat.
• Het probleem: Als een patiënt aan het begin van de zin een cruciaal medisch woord noemt, en de "Verteller" leest de rest van de zin, kan hij die eerste belangrijke informatie soms vergeten of verkeerd interpreteren omdat hij alleen maar "naar voren" kijkt. Voor het indelen van medische vragen in 82 specifieke vakjes is deze "eenrichtingsverkeers" manier te onnauwkeurig.

2. Wat gebeurde er in de praktijk?

De onderzoekers testten hun systemen tegen elkaar:

• De "Zoeker" (AraBERT): Deze won ruimschoots. Hij was in staat om de fijne lijntjes te trekken tussen vergelijkbare vakken (bijvoorbeeld het verschil tussen "Algemene Geneeskunde" en "Interne Geneeskunde"). Door slimme technieken (zoals het trainen met meerdere versies van dezelfde vraag tegelijk) werd hij heel goed in het omgaan met de onduidelijke labels en de zeldzame vakjes.
• De "Verteller" (Llama 3.3): Ze probeerden de grote AI te gebruiken om de antwoorden te verbeteren. Ze lieten de "Zoeker" eerst 15 mogelijke vakjes kiezen, en vroegen de "Verteller" om de beste te kiezen.
  • Het resultaat: Dit werkte slechter. De "Verteller" was te slim voor zijn eigen bestwil. Hij dacht logisch na ("Oh, dit is een huidprobleem, dus Dermatology"), maar hij kende de specifieke regels van deze bibliotheek niet. Hij koos vaak een logisch vakje dat niet het juiste vakje was volgens de regels van de wedstrijd.
• De "Feature Extractor" (Qwen): Ze probeerden ook om de "Verteller" als een statische database te gebruiken. Dit was een ramp; het systeem was veel te onnauwkeurig.

3. De Grote Les

Het belangrijkste inzicht van dit onderzoek is: Groot is niet altijd beter.

Voor een heel specifieke, moeilijke taak (zoals het indelen van 82 medische vakken in het Arabisch) is een gespecialiseerde, getrainde expert (de "Zoeker") veel beter dan een gigantische, algemene genie (de "Verteller").

• De "Zoeker" heeft de specifieke regels en nuances van de medische taal in het Arabisch perfect in zich opgenomen.
• De "Verteller" is te algemeen en kijkt de verkeerde kant op voor deze specifieke taak.

Kortom: Als je een medisch dossier moet indelen in een heel specifiek systeem, wil je niet iemand die een mooi verhaal kan vertellen, maar iemand die de hele tekst in één oogopslag kan scannen en precies weet waar elk stukje hoort. De onderzoekers hebben bewezen dat de "Zoeker" (AraBERT) de winnaar is.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "GATech at AbjadMed: Bidirectional Encoders vs. Causal Decoders" in het Nederlands.

Technische Samenvatting: GATech bij AbjadMed

Probleemstelling
Het paper beschrijft een systeem voor de classificatie van Arabische medische teksten in 82 verschillende categorieën (de AbjadMed gedeelde taak). De uitdagingen zijn aanzienlijk:

• Extreme class-ongelijkheid: Het trainingsdataset bevat 27.951 samples, maar de verdeling is sterk scheef. Hoofdgroepen (zoals hematologische ziekten) hebben honderden samples, terwijl minderheidsgroepen (zoals biochemie of IVF) soms slechts 7 samples per categorie hebben.
• Labelruis (Label Noise): Handmatige inspectie toonde inconsistenties aan waarbij semantisch vergelijkbare categorieën (bijv. "Algemene Geneeskunde" vs. "Interne Geneeskunde") soms onjuist waren toegewezen.
• Semantische complexiteit: Het onderscheid tussen deze 82 categorieën vereist het vangen van zeer fijne semantische grenzen binnen medisch Modern Standaard Arabisch (MSA).

Methodologie
De auteurs vergelijken twee fundamentele architecturale benaderingen: gespecialiseerde bidirectionele encoders versus grote causale decoders (generatieve modellen).

1. Primair Systeem (Bidirectionele Encoder):

   • Basis: Een fijngefineerde AraBERTv2-encoder, gekozen vanwege de vooraf getrainde kennis op Arabische corpora.
   • Hybride Pooling: In plaats van alleen de [CLS]-token te gebruiken, combineert het systeem twee representaties:
     • Mean Pooling: Gemiddelde van alle token-embeddings voor een globaal thematisch overzicht.
     • Attention Pooling: Een leerbare mechanisme dat belangrijke medische sleutelwoorden (symptomen, organen) weegt en stopwoorden verwaarloost.
   • Regularisatie voor Ongelijkheid: Om overfitting op meerderheidsklassen en gevoeligheid voor labelruis te bestrijden, worden Multi-Sample Dropout (5 parallelle dropout-paden met variërende rates) en Label Smoothing toegepast. Dit fungeert als een intern ensemble dat de besluitvorming stabiliseert.
   • Training: Gebruik van Layer-wise Learning Rate Decay (LLRD) en een Cosine Learning Rate Scheduler.

2. Vergelijkende Benaderingen (Causale Decoders):

   • Feature Extraction: Het extraheren van statische features uit de laatste laag van Qwen 3 3B (een causaal decodermodel) voor gebruik in een classificatiekop.
   • Zero-shot Re-ranking: Een twee-staps pipeline waarbij AraBERT de top-15 kandidaten genereert, waarna Llama 3.3 70B (Instruct) de definitieve keuze maakt via een prompt.

Belangrijkste Bijdragen en Bevindingen

• Superioriteit van Encoders: De studie concludeert dat bidirectionele encoders (zoals AraBERTv2) significant beter presteren dan causale decoders voor deze taak.
  • Reden: Causale decoders zijn geoptimaliseerd voor "next-token prediction", wat leidt tot een sequentie-bias. Hun embeddings vangen niet de volledige semantische context van een query tegelijkertijd op, wat essentieel is voor het onderscheiden van 82 fijne medische categorieën.
  • Encoder Voordelen: AraBERTv2 levert scherpere semantische grenzen en beter "semantic compression" voor discriminatieve taken.
• Inefficiëntie van Generatieve Embeddings: Feature extraction uit grote generatieve modellen (Qwen, Llama) resulteerde in zeer slechte prestaties (Macro-F1 van slechts 0,1278 voor Qwen 3 3B).
• Probleem met Re-ranking: Het gebruik van Llama 3.3 70B voor re-ranking leidde tot een prestatiedaling (van 0,3934 naar 0,3035). Dit komt door een "schema mismatch": het generatieve model maakt logisch semantische keuzes die echter niet overeenkomen met de specifieke, soms willekeurige, labelconventies van de dataset.

Resultaten
Op de officiële testset werd de prestatie gemeten met Macro-F1 (om rekening te houden met de onbalans):

• AraBERTv2 (Hybride Pooling + Multi-Sample Dropout): 0,3934 (Beste prestatie).
• multilingual-E5-large: 0,3804.
• CamelBERT: 0,3603.
• AraBERTv2 + Llama 3.3 70B (Re-ranking): 0,3035.
• Qwen 3 3B (Feature Extraction): 0,1278.

Significantie
Dit paper biedt een cruciaal inzicht voor de NLP-gemeenschap, specifiek voor gespecialiseerde domeinen met hoge cardinaliteit (veel klassen) en onbalans. Het weerlegt de populaire aanname dat "groter is altijd beter" of dat generatieve LLM's automatisch beter zijn voor classificatie.

• Voor fijngestippelde classificatietaken in specifieke domeinen (zoals medische Arabische tekst) blijft het fijnfine-tunen van een bidirectionele encoder de superieure strategie.
• Generatieve modellen zijn minder geschikt voor het creëren van semantische embeddings voor discriminatieve taken, omdat hun interne representaties te sterk beïnvloed worden door de sequentiële aard van hun training.
• De resultaten benadrukken het belang van robuuste regularisatietechnieken (zoals Multi-Sample Dropout) om om te gaan met labelruis en extreme class-ongelijkheid.