Fine-Tuning Causal LLMs for Text Classification: Embedding-Based vs. Instruction-Based Approaches

Dieser Artikel zeigt, dass für ressourcenbeschränkte Single-Label-Textklassifizierung das Fine-Tuning kausaler LLMs mit einem Klassifizierungshead auf Final-Token-Embeddings deutlich parametereffizienter ist als Instruction Tuning, während gleichzeitig vergleichbare oder überlegene Leistungen im Vergleich sowohl zu instruction-getunten LLMs als auch zu domänenspezifischen BERT-Modellen erzielt werden.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen riesigen, unglaublich intelligenten Bibliotheksassistenten (ein Large Language Model, oder LLM), der fast alles in der Welt gelesen hat. Sie möchten diesen Assistenten einstellen, um einen massiven Stapel Patentdokumente in spezifische Kategorien zu sortieren. Das Problem? Dieser Assistent ist riesig, teuer im Betrieb und normalerweise darauf trainiert, Geschichten zu schreiben, nicht Dateien zu sortieren.

Dieser Artikel ist ein Leitfaden, wie man diesem riesigen Assistenten beibringt, Dateien effizient zu sortieren, und zwar mit nur einer Standard-Grafikkarte (GPU) anstelle eines Supercomputers. Die Autoren testeten zwei verschiedene Methoden, um den Assistenten zu trainieren, und stellten fest, dass eine Methode für diese spezifische Aufgabe deutlich besser ist als die andere.

Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

Die beiden Trainingsmethoden

Die Forscher probierten zwei verschiedene „Trainingslager" für den Assistenten aus:

1. Die „Dateiordner"-Methode (Embedding-basiert)

• Funktionsweise: Stellen Sie sich vor, Sie bitten den Assistenten, ein Dokument zu lesen und Ihnen dann eine einzige, perfekte Zusammenfassungsnotiz auf der letzten Seite zu übergeben. Anschließend heften Sie einen kleinen, einfachen Etikettendrucker (einen „Klassifizierungskopf") an diese Notiz, um zu entscheiden, in welchen Ordner das Dokument gehört.
• Der Trick: Sie haben den gesamten Assistenten nicht neu trainiert. Sie haben dem Assistenten lediglich beigebracht, wie man diese eine perfekte Zusammenfassungsnotiz schreibt und wie man den Etikettendrucker verwendet. Sie verwendeten eine Technik namens „LoRA" (Low-Rank Adaptation), die so ist, als würde man dem Assistenten einen Satz Haftnotizen geben, auf die er schreiben kann, anstatt sein gesamtes Gehirn neu zu schreiben.
• Ergebnis: Diese Methode war unglaublich schnell, günstig und präzise. Sie benötigte sehr wenige „trainierbare" Ressourcen (wie ein kleines Budget), erledigte die Aufgabe aber perfekt.

2. Die „Chatbot"-Methode (Instruktionsbasiert)

• Funktionsweise: Anstatt eine Zusammenfassungsnotiz zu verlangen, sprechen Sie mit dem Assistenten wie mit einem Chatbot. Sie sagen: „Hier ist ein Dokument. Bitte sagen Sie mir, zu welcher Kategorie es gehört." Der Assistent muss dann die Antwort Wort für Wort eintippen.
• Der Trick: Dies erfordert, dass der Assistent lernt, Anweisungen zu befolgen und Text in einem bestimmten Format zu generieren.
• Ergebnis: Diese Methode war langsamer und erforderte ein viel größeres Budget (mehr „trainierbare" Ressourcen), um gute Ergebnisse zu erzielen. Sie funktionierte bei komplexen Aufgaben mit vielen Kategorien zwar einigermaßen, war aber oft wählerisch, wie Sie die Frage stellten. Wenn der Prompt leicht abwich, konnte der Assistent verwirrt werden oder zusätzliche Wörter schreiben, die das System störten.

Das große Duell: Was sie herausfanden

Die Autoren testeten diese Methoden auf Patentdaten (rechtliche Dokumente über Erfindungen) und verglichen sie mit älteren, kleineren Modellen (wie BERT), die speziell für Sortieraufgaben entwickelt wurden.

• Für Single-Label-Sortierung (Eine Kategorie pro Dokument):
  Die „Dateiordner"-Methode gewann mit Abstand. Sie entsprach oder übertraf sogar die älteren, spezialisierten Modelle und die „Chatbot"-Methode, tat dies jedoch unter Verwendung von 10- bis 30-mal weniger Ressourcen. Es war, als würde man ein Schweizer Taschenmesser verwenden, um ein Steak zu schneiden: Es funktionierte genauso gut wie ein Küchenmesser des Kochs, war aber viel leichter und günstiger zu transportieren.

• Für Multi-Label-Sortierung (Mehrere Kategorien pro Dokument):
  Die „Chatbot"-Methode hatte einen leichten Vorteil, aber nur, wenn Sie bereit waren, viel mehr Geld für das Training auszugeben (ein riesiges Budget an Ressourcen). Selbst dann war die „Dateiordner"-Methode noch sehr wettbewerbsfähig.

• Geschwindigkeit und Effizienz:
  Die „Dateiordner"-Methode war sowohl beim Training als auch beim Ausführen viel schneller. Die „Chatbot"-Methode war langsamer, weil sie „nachdenken" und die Antwort Buchstabe für Buchstabe eintippen musste, wohingegen die „Dateiordner"-Methode nur die Zusammenfassungsnotiz ansah und einen Knopf drückte.

Die „Magie" des kleinen Budgets

Eine der coolsten Erkenntnisse ist, dass Sie kein riesiges, teures Modell benötigen, um großartige Ergebnisse zu erzielen.

• Sie verwendeten ein relativ kleines Modell (3 Milliarden Parameter) mit der „Dateiordner"-Methode, und es schlug die „Chatbot"-Methode, die ein viel größeres Modell verwendete.
• Sie testeten sogar die „Chatbot"-Methode an den teuersten, modernsten Modellen, die von großen Technologieunternehmen verfügbar sind (wie GPT-5 und Claude Opus), ohne sie überhaupt zu trainieren. Selbst diese superschlaue, eingefrorenen Modelle konnten das kleine, trainierte „Dateiordner"-Modell nicht schlagen. Es ist wie ein gut ausgebildeter lokaler Mechaniker, der ein brandneues, untrainiertes Formel-1-Auto bei einer spezifischen Reparaturarbeit schlägt.

Der Haken (Einschränkungen)

Der Artikel ist ehrlich darüber, wo diese Methode nicht perfekt ist:

• Geschwindigkeit vs. Genauigkeit: Obwohl die „Dateiordner"-Methode großartig ist, ist sie bei reiner Geschwindigkeit immer noch etwa 20-mal langsamer als die älteren, spezialisierten Modelle (BERT). Wenn Sie Millionen von Dokumenten pro Sekunde sortieren müssen, sind die älteren Modelle immer noch die Könige der Geschwindigkeit.
• Statistische Sicherheit: Die „Dateiordner"-Methode war numerisch besser, aber der Unterschied wurde in jedem einzelnen Test statistisch nicht als riesig „bewiesen". Sie ist konsistent besser, aber die Siegesspanne ist manchmal gering.
• Trainingsinstabilität: Manchmal versagte die „Dateiordner"-Methode beim Lernen, wenn der zufällige Startpunkt (der „Seed") Pech hatte, was die Forscher dazu zwang, es ein paar Mal zu versuchen, um ein gutes Ergebnis zu erzielen.

Das Fazit

Wenn Sie Textdokumente (wie Patente) sortieren müssen und über begrenzte Rechenleistung verfügen (wie eine einzelne Grafikkarte), ist die beste Strategie, das riesige KI-Modell wie einen Merkmalsextraktor zu behandeln (die „Dateiordner"-Methode). Versuchen Sie nicht, es zum Chatten oder zum Schreiben von Aufsätzen zu bringen; bitten Sie es einfach, das Dokument zusammenzufassen und einen einfachen Etikettendrucker anzuhängen. Dieser Ansatz ist günstiger, schneller und oft genauer als der Versuch, der KI beizubringen, komplexen Anweisungen zu folgen, oder die Verwendung älterer, spezialisierter Modelle.

Technische Zusammenfassung

Technische Zusammenfassung: Feinabstimmung kausaler LLMs für Textklassifizierung

Problemstellung
Die Textklassifizierung hat sich traditionell auf die Feinabstimmung von Encoder-basierten Transformern (z. B. BERT, RoBERTa) verlassen, die einen speziellen Klassifizierungstoken (z. B. [CLS]) nutzen, um Sequenzinformationen zu aggregieren. Im Gegensatz dazu sind Decoder-only (kausale) Large Language Models (LLMs) für die Vorhersage des nächsten Tokens mit links-nach-rechts-Aufmerksamkeit vortrainiert, verfügen über keinen expliziten Klassifizierungstoken und keine bidirektionale Sichtbarkeit über die Eingabe. Obwohl kausale LLMs über Milliarden von Parametern verfügen, die auf Billionen von Tokens trainiert wurden, ist ihre Anpassung für Klassifizierungsaufgaben aufgrund ihrer Größe schwierig, da eine vollständige Feinabstimmung auf Single-GPU-Hardware oft nicht machbar ist. Dieser Beitrag untersucht, ob kausale LLMs unter Ressourcenbeschränkungen effektiv für Klassifizierungsaufgaben feinabgestimmt werden können, und vergleicht zwei unterschiedliche Anpassungsstrategien: eine Feinabstimmung auf Basis von Embeddings versus eine Feinabstimmung auf Basis von Instruktionen.

Methodik
Die Autoren bewerten zwei Ansätze unter Verwendung von quantisierter Low-Rank Adaptation (QLoRA), um das Training auf einer einzelnen NVIDIA L4 GPU (24 GB VRAM) zu ermöglichen. Alle Modelle werden mit 4-Bit-Präzision (NF4) unter Verwendung der BitsAndBytes-Bibliothek geladen, wobei nur die LoRA-Adapter und aufgaben spezifischen Köpfe aktualisiert werden.

1. Ansatz 1: Feinabstimmung auf Basis von Embeddings (Decoder-Tuning)

   • Mechanismus: Das kausale LLM fungiert als Feature-Extraktor. Der Hidden State des finalen Tokens (der implizit auf alle vorherigen Tokens achtet) wird als Sequenzrepräsentation extrahiert. Ein leichter Klassifizierungskopf (lineare Schicht oder Feed-Forward-Netzwerk) wird an dieses Embedding angehängt, um Klassenlabels vorherzusagen.
   • Training: Optimiert die Klassenposteriors direkt mittels Cross-Entropy (Single-Label) oder Binary Cross-Entropy (Multi-Label). Der LoRA-Rang ($r$) wird auf 8 oder 16 gesetzt, wobei eine kleine Teilmenge von Parametern (typischerweise 5,6 M–42 M) aktualisiert wird.
   • Inferenz: Ein einzelner Forward-Pass liefert das finale Token-Embedding, gefolgt von einer Berechnung durch die leichte Klassifizierungsschicht.

2. Ansatz 2: Feinabstimmung auf Basis von Instruktionen

   • Mechanismus: Die Klassifizierungsaufgabe wird als Prompt-Antwort-Generierungsproblem umformuliert. Eingaben werden in Prompts umgewandelt (z. B. „Was ist die Kategorie?"), und das Modell wird trainiert, den Label-Text als Antwort zu generieren.
   • Training: Optimiert die Wahrscheinlichkeit der generierten Label-Tokens unter Verwendung des Next-Token-Prediction-Loss. Dies erfordert, dass das Modell spezifische Formatierungen und Verbalisierungen von Labels lernt. Die LoRA-Ränge sind höher ($r=64$), was zu einem größeren trainierbaren Budget führt (45 M–167 M Parameter).
   • Inferenz: Erfordert eine sequenzielle Dekodierung der Label-Tokens, was im Vergleich zum Embedding-Ansatz Latenz einführt.

Hauptbeiträge

• Klassifizierungsstrategie für Decoder-only: Zeigt, dass kausale LLMs effektiv als Klassifizierer dienen können, indem sie ihre finalen Token-Embeddings als aggregierte Sequenzrepräsentationen nutzen, analog zum [CLS]-Token in Encodern.
• Ressourceneffizientes Benchmarking: Berichtet über State-of-the-Art-Ergebnisse bei Patentklassifizierungsaufgaben unter Verwendung von Single-GPU-freundlichen Methoden (QLoRA + 4-Bit-Quantisierung) und beweist, dass Modelle bis zu 8 Mrd. Parametern effizient feinabgestimmt werden können.
• Vergleichende Analyse: Bietet einen systematischen Vergleich, der zeigt, dass für Single-Label-Klassifizierung der Embedding-basierte Ansatz die Leistung von Instruktion-feinabgestimmten Modellen erreicht oder übertrifft, während 10–30-mal weniger Parameter trainiert werden. Instruktionstuning erweist sich nur in Multi-Label-Szenarien und nur mit deutlich größeren trainierbaren Budgets als wettbewerbsfähig.
• Praktische Richtlinien: Liefert empirische Belege für die Trade-offs zwischen Durchsatz, Kalibrierung und Robustheit und schlägt vor, dass Embedding-basierte Methoden robuster gegenüber Prompt-Variationen sind und eine bessere Kalibrierung bieten als Instruktion-basierte Methoden.

Ergebnisse
Experimente wurden an zwei Patentdatensätzen durchgeführt: einem proprietären 5-Klassen-Single-Label-Korpus (CLV) und dem öffentlichen WIPO-Alpha-Multi-Label-Datensatz (14 Kategorien).

• Single-Label-Leistung: Der Embedding-basierte Ansatz (Ansatz 1) erzielte konsistent wettbewerbsfähige F1-Scores und übertraf oft Instruktion-feinabgestimmte Modelle (Ansatz 2) sowie domänenspezifische BERT-Baselines. Beispielsweise erreichte ein 3,2 Mrd. Parameter großes Llama-3.2-Modell mit $r=8$ einen F1-Score von 0,860 auf CLV und übertraf die beste BERT-Baseline (0,854), während nur ~12 M Parameter aktualisiert wurden, im Vergleich zu 346 M für BERT.
• Multi-Label-Leistung: Auf dem WIPO-Datensatz erzielte Ansatz 2 (insbesondere Mistral-7B mit $r=64$) den höchsten F1-Score (0,819) und übertraf Ansatz 1. Dies erforderte jedoch 167,8 M trainierbare Parameter, wodurch der Vorteil der „Parameter-Effizienz" in diesem spezifischen Regime aufgehoben wurde.
• Durchsatz: Ansatz 1 zeigte einen signifikant höheren Trainings- und Inferenzdurchsatz (Proben pro Sekunde) im Vergleich zu Ansatz 2. Obwohl Ansatz 1 langsamer war als BERT-Klasse-Encoder (~20-mal langsamer), stellen die Autoren fest, dass Knowledge Distillation den Durchsatz der BERT-Klasse mit minimalen F1-Kosten (≤1,5 Punkte) wiederherstellen kann.
• Statistische Signifikanz: Gepaarte McNemar-Tests und Bootstrap-$\Delta$F1 95%-Konfidenzintervalle zeigen, dass der Embedding-basierte Ansatz zwar numerisch Instruktionstuning bei Single-Label-Aufgaben übertrifft, der Unterschied jedoch bei $p<0,05$ nicht statistisch signifikant ist.
• Externe Validierung: Auf dem AG News-Datensatz erreichte der Embedding-basierte Ansatz (Llama-3.2-3B, $r=8$) einen F1-Score von 0,929, der mit starken BERT-Baselines und Instruktion-feinabgestimmten Modellen vergleichbar ist, was die Generalisierung über den Patentbereich hinaus bestätigt.
• Closed-Source-Modelle: Frontier-Closed-Source-Modelle (z. B. GPT-5, Claude Opus 4.6), die im Zero-Shot- oder Few-Shot-Prompting-Modus verwendet wurden, konnten die Leistung der feinabgestimmten 1–3 Mrd. Parameter großen Llama-Modelle mit Ansatz 1 nicht erreichen, was die Notwendigkeit einer überwachten Anpassung für hochpräzise Klassifizierung unterstreicht.

Bedeutung und Behauptungen
Der Beitrag behauptet, dass eine parameter-effiziente, Embedding-basierte Feinabstimmung kausaler LLMs eine effektive, skalierbare und leistungsfähige Alternative sowohl zu herkömmlichen BERT-artigen Modellen als auch zu Instruktion-feinabgestimmten LLMs für Textklassifizierung ist.

• Effizienz: Die Studie zeigt, dass hochleistungsfähige Klassifizierung auf Single-GPU-Hardware erreicht werden kann, indem das Basismodell eingefroren wird und nur ein winziger Bruchteil der Parameter über LoRA aktualisiert wird.
• Robustheit: Der Embedding-basierte Ansatz wird als robuster gegenüber Fehlern im Prompt Engineering behauptet und bietet besser kalibrierte Wahrscheinlichkeitsausgaben im Vergleich zur Instruktion-basierten Generierung, die unter Formatierungsbrüchigkeit leiden kann.
• Praktikabilität: Für Single-Label-Aufgaben wird der Embedding-Ansatz als bevorzugte Strategie präsentiert, die ein überlegenes F1-zu-Rechenkosten-Verhältnis bietet. Für Multi-Label-Aufgaben räumt der Beitrag ein, dass Instruktionstuning zwar höhere Genauigkeit liefern kann, aber oft Parameterbudgets erfordert, die mit vollständigen BERT-Modellen vergleichbar sind, wodurch sein Effizienzvorteil eingeschränkt wird.
• Einschränkungen: Die Autoren vermerken bescheiden, dass ihre Behauptungen durch die Verwendung proprietärer Daten für Single-Label-Ergebnisse, das Fehlen statistischer Signifikanz bei direkten Vergleichen und den Durchsatznachteil von LLMs gegenüber BERT (obwohl durch Distillation milderbbar) begrenzt sind. Sie heben zudem hervor, dass bei bestimmten Seeds Trainingsinstabilitäten auftreten können, und empfehlen mehrere Durchläufe für die Reproduzierbarkeit.

Zusammenfassend liefert die Arbeit empirische Belege dafür, dass eine spezialisierte, ressourcenbeschränkte Feinabstimmung kausaler LLMs über Embedding-Köpfe ein gangbarer und oft optimaler Weg für domänenspezifische Textklassifizierung ist, der die Hürde für den Einsatz fortschrittlicher Sprachmodelle in spezialisierten NLP-Aufgaben senkt.