GATech at AbjadMed: Bidirectional Encoders vs. Causal Decoders: Insights from 82-Class Arabic Medical Classification

Diese Arbeit zeigt, dass für die feinkörnige Klassifizierung arabischer medizinischer Texte über 82 Kategorien spezialisierte bidirektionale Encoder wie AraBERTv2 aufgrund ihrer Fähigkeit, globale semantische Kontexte zu erfassen, deutlich besser abschneiden als kausale Decoder-Modelle.

Das Wesentliche

Stell dir vor, du bist ein riesiger, super-intelligenter Bibliothekar, der gerade eine neue, sehr spezielle Aufgabe bekommt: 82 verschiedene Schubladen in einem medizinischen Archiv zu füllen. Die Patienten (die Texte) kommen auf Arabisch und beschreiben ihre Symptome. Deine Aufgabe ist es, jeden Patienten in die exakt richtige der 82 Schubladen zu stecken.

Das Problem?

1. Ungleichgewicht: In manchen Schubladen (z. B. "Hautkrankheiten") liegen Tausende von Akten. In anderen (z. B. "Künstliche Befruchtung") liegen nur sieben.
2. Verwirrung: Manchmal ist die Beschriftung auf den Akten falsch oder unklar. Ein Text über "Hautausschlag" könnte fälschlicherweise als "Allgemeinmedizin" statt als "Hautkrankheit" markiert sein.

In diesem Papier stellt das Team von Georgia Tech (GATech) vor, wie sie diese Aufgabe gelöst haben, indem sie zwei verschiedene Arten von "KI-Mitarbeitern" verglichen haben.

Die zwei Helden des Vergleichs

Stell dir die KI-Modelle wie zwei verschiedene Arten von Detektiven vor:

1. Der "Allwissende Rückblick-Detektiv" (Bidirectional Encoder / AraBERT)

• Wie er arbeitet: Dieser Detektiv liest einen ganzen Satz und kann alle Wörter gleichzeitig betrachten. Er sieht das Ende des Satzes, während er am Anfang steht, und umgekehrt.
• Die Analogie: Stell dir vor, du liest einen medizinischen Bericht. Dieser Detektiv kann sich sofort merken: "Ah, das Wort 'Schmerz' am Ende des Satzes bezieht sich auf das 'Herz' am Anfang." Er versteht den gesamten Kontext auf einen Blick.
• Warum er gewinnt: Für das Sortieren in 82 Schubladen ist es wichtig, jedes Detail im gesamten Text zu verstehen. Dieser Detektiv ist wie ein Experte, der die feinen Unterschiede zwischen "Allgemeinmedizin" und "Innerer Medizin" genau kennt, weil er den ganzen Text auf einmal analysiert.

2. Der "Zukunfts-Prophet" (Causal Decoder / Llama & Qwen)

• Wie er arbeitet: Dieser Detektiv ist darauf trainiert, das nächste Wort vorherzusagen. Er liest von links nach rechts, wie man einen Roman liest. Er kennt das Ende des Satzes noch nicht, wenn er am Anfang steht.
• Die Analogie: Stell dir vor, er schreibt einen Roman. Er ist super gut darin, eine Geschichte zu erzählen. Aber wenn du ihn fragst: "Was ist das Hauptthema dieses ganzen Textes?", muss er sich den Text erst von vorne bis hinten durchlesen und dabei oft das Vergangene übersehen oder nur das "Neueste" im Kopf behalten.
• Das Problem: Diese Modelle sind riesig (sie haben mehr "Gehirnzellen" als die anderen), aber sie sind nicht für das Sortieren gemacht, sondern für das Erfinden von Texten. Wenn man sie versucht, als Sortier-Experten zu nutzen, machen sie Fehler, weil sie den Text nicht "ganzheitlich" erfassen können.

Was hat das Team gemacht? (Die Geheimwaffen)

Das Team hat den "Rückblick-Detektiv" (AraBERT) noch stärker gemacht, indem sie ihm drei spezielle Werkzeuge gegeben haben:

1. Der "Zwei-Augen-Ansatz" (Hybrid Pooling):
   Normalerweise schaut ein Computer nur auf das erste oder das letzte Wort eines Satzes. Das Team hat dem Modell aber gesagt: "Schau dir alles an!"

   • Augen 1: Ein Blick auf den gesamten Text (Durchschnitt), um das große Ganze zu verstehen.
   • Augen 2: Ein Suchscheinwerfer (Aufmerksamkeit), der genau auf die wichtigen medizinischen Wörter (wie "Fieber" oder "Bauchschmerzen") fokussiert und den Rest ignoriert.
   • Ergebnis: Das Modell hat eine viel klarere Vorstellung davon, worum es geht.

2. Der "Trainings-Coach" (Multi-Sample Dropout):
   Da einige Schubladen nur 7 Akten haben, neigt das Modell dazu, diese zu vergessen. Der Coach sagt dem Modell: "Übe nicht nur einmal, sondern fünfmal gleichzeitig mit leicht veränderten Versionen des Textes."

   • Analogie: Es ist wie ein Sportler, der fünf verschiedene Trainingsmethoden gleichzeitig macht, damit er nicht nur eine Sache perfekt kann, sondern robust gegen Fehler ist. Das hilft besonders bei den seltenen Krankheiten.

3. Der "Verständnis-Coach" (Label Smoothing):
   Da einige Beschriftungen in den Daten falsch waren, hat das Team dem Modell beigebracht: "Sei nicht zu 100% sicher, wenn die Beschriftung seltsam ist. Bleib flexibel."

   • Analogie: Wenn ein Schüler eine Aufgabe macht, bei der die Lösung vielleicht falsch ist, lernt er nicht stur "A ist richtig", sondern "A ist wahrscheinlich richtig, aber B könnte auch passen". Das verhindert, dass das Modell verrückt wird, wenn die Daten unsauber sind.

Was ist passiert, als sie die "Riesen-KI" (Llama) einsetzten?

Das Team hat versucht, einen riesigen, generischen KI-Riesen (Llama 3.3) als "Zweit-Gutachter" zu nutzen. Die Idee: Der kleine Detektiv schlägt 15 Schubladen vor, und der Riese wählt die beste aus.

Das Ergebnis war eine Katastrophe.
Warum? Der Riese war zu klug für seine eigene Aufgabe. Er dachte: "Oh, Hautausschlag? Das ist Dermatologie!" Aber die Aufgabe verlangte: "Nein, in diesem speziellen Archiv gehört Hautausschlag in die Schublade 'Haut und Schönheit'."
Der Riese verstand die speziellen Regeln des Archivs nicht. Der kleine, speziell trainierte Detektiv (AraBERT) hingegen hatte genau gelernt, wie die Menschen in diesem Projekt die Schubladen beschriften.

Das Fazit in einem Satz

Für das Sortieren von medizinischen Texten in viele feine Kategorien ist ein kleiner, spezialisierter Experte, der den ganzen Text auf einmal versteht, viel besser als ein riesiger, kreativer Genie-KI, der nur auf das nächste Wort spezialisiert ist.

Die Botschaft für die Zukunft: Wenn man etwas genau klassifizieren muss, braucht man nicht unbedingt den größten Roboter, sondern denjenigen, der die feinen Unterschiede am besten versteht.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „GATech at AbjadMed: Bidirectional Encoders vs. Causal Decoders" auf Deutsch:

Technische Zusammenfassung: GATech bei AbjadMed

1. Problemstellung und Kontext
Das Paper beschreibt die Systementwicklung für die „AbjadMed"-Shared Task, die die Klassifizierung arabischer medizinischer Texte in 82 verschiedene Kategorien erfordert. Die Aufgabe stellt mehrere signifikante Herausforderungen dar:

• Hohe Kardinalität: 82 Klassen erfordern eine feine semantische Unterscheidung.
• Extreme Klassenungleichheit (Class Imbalance): Die Trainingsdaten umfassen 27.951 Beispiele, wobei die Verteilung stark verzerrt ist. Während Hauptklassen (z. B. Hämatologie) bis zu 600 Samples haben, weisen Minderheitenklassen (z. B. Biochemie, IVF) nur 7 Samples auf.
• Label-Rauschen (Label Noise): Eine manuelle Prüfung ergab Inkonsistenzen in den Gold-Standard-Labels. Ähnliche Kategorien (z. B. „Allgemeinmedizin" vs. „Innere Medizin" oder „Sexuelle Gesundheit" vs. „Medizinische Kräuter") wurden manchmal inkonsistent zugeordnet, was auf „weiche" semantische Grenzen hindeutet.
• Architekturelle Debatte: Es wird untersucht, ob große, generative kausale Decoder (wie Llama oder Qwen), die für Next-Token-Vorhersage optimiert sind, die feinen semantischen Grenzen für diese Klassifizierungsaufgabe besser erfassen können als spezialisierte, bidirektionale Encoder (wie BERT-Varianten).

2. Methodik und Systemarchitektur
Das vorgeschlagene System basiert auf einem feinabgestimmten (fine-tuned) AraBERTv2-Encoder (bert-base-arabertv02), der durch fortschrittliche Regularisierungs- und Pooling-Strategien erweitert wurde.

• Encoder-Auswahl: AraBERTv2 wurde aufgrund seiner Vorverarbeitung auf einem massiven arabischen Korpus gewählt, was es besser geeignet macht, die semantischen Nuancen des medizinischen Modern Standard Arabic (MSA) zu erfassen als multilinguale Modelle.
• Hybride Pooling-Strategie: Anstatt sich nur auf das [CLS]-Token zu verlassen, werden zwei Repräsentationen verkettet:
  1. Mean Pooling: Bildet den Durchschnitt aller Token-Embeddings (ohne Padding) für einen globalen thematischen Überblick.
  2. Attention Pooling: Ein lernbarer Mechanismus, der Gewichte für einzelne Tokens zuweist, um auf relevante medizinische Schlüsselwörter (Symptome, Organe) zu fokussieren und Stoppwörter herunterzustufen.
  • Das Ergebnis ist ein Feature-Vektor mit doppelter Hidden-Dimension, der sowohl Kontext als auch spezifische Keywords integriert.
• Klassifikationskopf und Regularisierung:
  • Multi-Sample Dropout: Statt eines einzelnen Dropout-Masks werden fünf parallele Dropout-Pfade mit variierenden Raten (0,1 bis 0,3) erstellt. Die Logits dieser Pfade werden gemittelt. Dies wirkt als internes Ensemble, stabilisiert die Entscheidungsgrenzen und reduziert die Varianz, was besonders für Minderheitenklassen kritisch ist.
  • Label Smoothing: Ein Faktor von 0,1 wird angewendet, um das Modell daran zu hindern, sich zu stark auf potenziell fehlerhafte „harte" Labels zu verlassen, und fördert flexiblere Entscheidungsgrenzen.
• Training: Es wurden Layer-wise Learning Rate Decay (LLRD) und ein Cosine Learning Rate Scheduler mit dem AdamW-Optimizer verwendet.

3. Vergleichende Analyse: Encoder vs. Decoder
Das Paper evaluierte systematisch verschiedene Ansätze:

• Bidirektionale Encoder: AraBERTv2, multilingual-E5-large, CamelBERT, mDeBERTa.
• Kausale Decoder (Generative Modelle):
  • Feature Extraction: Nutzung der versteckten Zustände (Hidden States) von Qwen 3 3B als statische Features.
  • Zero-Shot Re-Ranking: Ein Zwei-Stufen-Pipeline, bei dem AraBERT Kandidaten generiert und Llama 3.3 70B die finale Auswahl trifft.

Ergebnisse der Decoder-Evaluation:

• Feature Extraction (Qwen 3 3B): Erzielte sehr schlechte Ergebnisse (Macro-F1: 0,1278). Die kausale Aufmerksamkeit führt zu einer „Sequenz-Bias", bei der die Embeddings eher die Sequenzhistorie widerspiegeln als den gesamten semantischen Kontext. Sie sind für diskriminative Klassifizierung ungeeignet.
• Re-Ranking (Llama 3.3 70B): Führt zu einer Leistungsverschlechterung (Macro-F1: 0,3035). Obwohl das LLM über besseres allgemeines medizinisches Wissen verfügt, gab es ein „Schema Mismatch": Das Modell traf oft semantisch logische Entscheidungen, die jedoch nicht mit den spezifischen, feinkörnigen Annotationen der 82-Klassen-Tasks übereinstimmten.

4. Ergebnisse
Die Leistung wurde auf dem offiziellen Testset (18.634 Samples) mit Macro-F1 bewertet, um der Klassenungleichheit Rechnung zu tragen.

Modell-Konfiguration	Macro-F1
AraBERTv2 (Hybrid Pooling + Multi-Sample Dropout)	0,3934
multilingual-E5-large	0,3804
CamelBert	0,3603
AraBERTv2 + Llama 3.3 70B (Re-Ranking)	0,3035
Qwen 3 3B (Feature Extraction)	0,1278

Das feinabgestimmte AraBERTv2-System erzielte die besten Ergebnisse.

5. Schlüsselerkenntnisse und Bedeutung

• Überlegenheit spezialisierter Encoder: Für hoch-kardinale Klassifizierungsaufgaben in spezialisierten Domänen (wie Medizin) sind feinabgestimmte bidirektionale Encoder kausal generativen Modellen überlegen. Encoder können den gesamten Kontext gleichzeitig verarbeiten und präzisere semantische Grenzen ziehen.
• Limitationen generativer Embeddings: Kausale Decoder sind für Next-Token-Vorhersage optimiert und komprimieren die semantische Bedeutung eines gesamten Satzes nicht effektiv in einen dichten Vektor für diskriminative Aufgaben.
• Robustheit gegenüber Rauschen: Die Kombination aus Hybrid Pooling, Multi-Sample Dropout und Label Smoothing erwies sich als entscheidend, um mit extremen Klassenungleichheiten und Label-Rauschen umzugehen.
• Fazit: Große Parameterzahlen und generatives Vorwissen (wie bei Llama 70B) ersetzen nicht die Notwendigkeit einer domänenspezifischen Feinabstimmung (Fine-Tuning) für Aufgaben, die eine hohe semantische Präzision erfordern. Das Paper liefert starke Evidenz dafür, dass für NLP-Aufgaben im arabischen medizinischen Bereich die „richtige" Architektur (Encoder) wichtiger ist als die reine Größe des Modells.