🤖 machine learning

Instruction-Tuned, but Not More Verifiable Instruction-Following: A Cross-Task Diagnosis for LoRA Adapters

Die Studie zeigt, dass nominale Labels wie „instruction-tuned" die tatsächliche Verbesserung der Befolgungsverläufe über verschiedene Aufgaben hinweg nicht zuverlässig vorhersagen, da es zu einer messbaren Diskrepanz zwischen Trainingsziel und realer Leistung kommt, was eine routinemäßige, aufgabenübergreifende Evaluierung vor dem Einsatz von LoRA-Adaptern erfordert.

Ursprüngliche Autoren: Junyi Zou

Veröffentlicht 2026-03-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Junyi Zou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie kaufen einen Werkzeugkasten. Auf dem Etikett steht groß und deutlich: „Meister für präzises Schrauben". Sie erwarten also, dass dieser Kasten Ihnen hilft, Schrauben perfekt anzuziehen.

Aber was passiert, wenn Sie ihn tatsächlich benutzen?

Die Studie von Junyi Zou und seinem Team aus der Zjydiary-Gruppe stellt genau diese Frage. Sie untersuchen eine spezielle Technologie namens LoRA-Adapter. Diese sind wie kleine, austauschbare „Gehirn-Erweiterungen" für künstliche Intelligenzen (KI). Entwickler trainieren diese Adapter mit einem bestimmten Ziel, kleben ein Etikett darauf (z. B. „Für Rechenaufgaben optimiert" oder „Für Befehlsbefolgung optimiert") und hoffen, dass die KI danach genau das tut, was draufsteht.

Die Forscher haben jedoch etwas Überraschendes entdeckt: Das Etikett lügt oft.

Hier ist die Erklärung der wichtigsten Punkte, einfach und mit Analogien:

1. Das Etikett vs. Die Realität (Der „Namens-Irrtum")

Stellen Sie sich vor, Sie trainieren einen Hund, damit er „Füße geben" kann. Sie nennen ihn den „Füße-Geber".

Die Erwartung: Wenn Sie ihn bitten, „Füße zu geben", tut er das.
Die Realität der Studie: Der Forscher hat einen Hund trainiert, der eigentlich „Füße geben" sollte (ein „Instruction-Tuned"-Adapter). Aber als sie ihn testeten, stellte sich heraus: Der Hund gab zwar keine Füße, wurde aber plötzlich ein Meister im Fangen von Bällen (ein numerisches Benchmark).
Das Problem: Der Hund hat sich in etwas verwandelt, das er gar nicht sollte, während er in dem, wofür er trainiert wurde, sogar schlechter wurde oder gleich blieb.

2. Der „Drift" (Die Abdriftung)

Die Autoren nennen dieses Phänomen „Capability Drift" (Fähigkeits-Abdriftung).
Stellen Sie sich vor, Sie setzen einen Kompass auf ein Schiff, das nach Norden steuern soll. Aber weil der Magnet im Schiff gestört ist, dreht sich das Schiff nicht nach Norden, sondern segelt plötzlich schnell nach Osten.

Der Kompass (das Etikett „Instruction-Tuned") sagt: „Wir gehen nach Norden."
Das Schiff (die KI) segelt aber nach Osten (wird besser im Rechnen).
Und das Schlimme: Auf dem Weg nach Osten verliert es sogar die Fähigkeit, die genauen Anweisungen des Kapitäns zu befolgen (z. B. „Schreibe nur in Großbuchstaben").

3. Der Test: „Strenge Befehle" vs. „Höfliche Antworten"

Die Studie unterscheidet zwischen zwei Arten von Befehlen:

Höfliche, allgemeine Befehle: „Erzähl mir eine lustige Geschichte." (Das kann die KI oft auch ohne Training).
Strenge, überprüfbare Befehle: „Schreibe genau 3 Sätze. Der erste Satz muss mit 'A' beginnen. Der zweite Satz darf kein Komma enthalten." (Das ist der IFEval-Test).

Das Ergebnis war schockierend: Die KI, die als „Meister für Befehle" trainiert wurde, wurde schlechter darin, diese strengen, überprüfbaren Regeln einzuhalten. Stattdessen wurde sie plötzlich viel besser darin, Zahlen zu addieren und mathematische Rätsel zu lösen – etwas, wofür sie gar nicht trainiert wurde!

4. Warum ist das wichtig? (Die praktische Lehre)

Bisher haben sich viele Entwickler darauf verlassen, dass das Etikett auf dem Adapter wahr ist. „Oh, das ist ein 'Rechentrainer', also wird er gut rechnen."

Die Studie sagt: Vertraue nicht blind dem Etikett!
Bevor Sie eine KI in der echten Welt einsetzen (z. B. in einer Bank oder einem Krankenhaus), müssen Sie sie auf allen möglichen Aufgaben testen, nicht nur auf der, für die sie gekauft wurde.

Es könnte sein, dass Ihr „Rechts-Anwalt-KI" plötzlich besser ist im Kochen, aber keine Gesetze mehr korrekt zitiert.
Es könnte sein, dass Ihr „Mathematik-Experte" plötzlich nicht mehr versteht, wenn Sie ihn bitten, höflich zu sein.

Zusammenfassung in einem Satz

Nur weil ein KI-Modell ein Etikett trägt, das sagt „Ich kann Befehle befolgen", heißt das nicht, dass es das wirklich tut; es könnte sich stattdessen in einen unvorhersehbaren Mathe-Genie verwandelt haben, das Ihre strengen Regeln ignoriert.

Die Moral der Geschichte: Prüfen Sie Ihr Werkzeug immer selbst, bevor Sie es benutzen. Verlassen Sie sich nicht nur auf die Aufschrift auf der Verpackung.

1. Problemstellung

Das Paper adressiert ein kritisches Missverständnis im Bereich des adaptiven Fine-Tunings von Large Language Models (LLMs), insbesondere bei der Verwendung von LoRA-Adaptern (Low-Rank Adaptation).

Das Problem: Adapter werden oft basierend auf ihren nominalen Trainingslabels (z. B. „instruction-tuned", „numeric-reasoning-tuned") ausgewählt und eingesetzt. Es wird implizit angenommen, dass diese Labels verlässlich beschreiben, welche Fähigkeiten sich nach dem Deployment verbessern.
Die Hypothese: Die Autoren hinterfragen, ob diese nominalen Trainingsziele tatsächlich mit den realisierten Leistungssteigerungen über verschiedene Aufgaben hinweg übereinstimmen.
Der Kernkonflikt: Es besteht eine Diskrepanz zwischen der nominalen Zielsetzung (z. B. Instruction Tuning) und der tatsächlichen, automatisch verifizierbaren Einhaltung von Anweisungen (Verifiable Instruction Following). Während ein Adapter als „instruction-tuned" gelabelt ist, verbessert er nicht zwangsläufig die strikte Einhaltung von Constraints, die automatisch überprüfbar sind.

2. Methodik

Die Studie ist als empirische Cross-Task-Diagnose (aufgabenübergreifende Diagnose) konzipiert.

Setup:
- Basis: Ein festes Basis-Modell und zwei primär trainierte LoRA-Adapter: einer mit dem Ziel „Reasoning" (numerisches Reasoning) und einer mit dem Ziel „Instruction" (Instruction Tuning).
- Evaluation: Die gleichen Adapter werden über verschiedene Aufgaben hinweg evaluiert, um die Lücke zwischen Nominalziel und Realisierung zu messen.
Metriken:
- Numerisches Reasoning: Gemessen durch Numeric Match (NM), ob die finale numerische Antwort mit der Referenz übereinstimmt.
- Verifizierbare Instruction Following: Evaluiert mittels IFEval (Instruction Following Evaluation). Hier werden zwei Metriken verwendet:
  - ILA (Instruction-Level Accuracy): Genauigkeit pro einzelner Anweisung.
  - PLA (Prompt-Level Accuracy): Ob der gesamte Prompt alle Constraints erfüllt (strengere Metrik).
- Drift Score: Eine neue diagnostische Kennzahl, definiert als Differenz zwischen dem Gewinn im Off-Target-Bereich und dem Gewinn im Zielbereich:
  $DriftScore(a \to b) = OffTargetGain(a, b) - TargetGain(a)$
  Ein hoher positiver Wert zeigt an, dass die unerwünschte Leistungssteigerung in einer anderen Aufgabe größer ist als die gewünschte im Zielbereich.
Robustheitsprüfung: Die Experimente wurden über mehrere Seeds (Zufallsgeneratoren), verschiedene Basis-Modelle (z. B. Qwen3, Llama3) und unterschiedliche LoRA-Konfigurationen (Rank, Lernraten) durchgeführt.

3. Wichtige Beiträge

Die Autoren formulieren drei zurückhaltende, aber evidenzbasierte Beiträge:

Diagnostisches Framework: Formulierung eines deploymentsrelevanten Cross-Task-Frameworks, um zu testen, ob das nominale Label eines Adapters mit den realisierten Fähigkeiten unter Evaluation übereinstimmt.
Robustheitsnachweis: Nachweis, dass die Diskrepanz zwischen nominalem Label und realer Leistung wiederkehrend, aber konfigurierungsabhängig ist. Es gibt Fälle, in denen der Drift nahe null oder sogar negativ ist.
Kontrolliertes Gegenbeispiel: Demonstration eines spezifischen Falls, in dem ein „instruction-tuned" Adapter die Leistung in einem numerischen Benchmark (Off-Target) massiv verbessert, aber die strikte, verifizierbare Instruction Following (IFEval) nicht verbessert oder sogar verschlechtert.

4. Ergebnisse

Die Ergebnisse zeigen eine signifikante und wiederkehrende Diskrepanz, die als „Capability Drift" (Fähigkeitsdrift) bezeichnet wird.

Hauptbeispiel (Table 1): Ein instruction-tuned Adapter verbesserte die Leistung im numerischen Benchmark (NM) drastisch von 0,133 auf 0,632. Gleichzeitig sank die Leistung bei strikter Instruction Following (IFEval PLA) von 0,250 auf 0,143.
- Interpretation: Der Adapter lernte, numerische Aufgaben besser zu lösen, wurde aber in der strikten Einhaltung von Anweisungs-Constraints schlechter, obwohl er explizit für Instruction Tuning trainiert wurde.
Robustheit (Table 2 & Abbildung 2):
- Über verschiedene Seeds und Modelle hinweg bleibt der Drift Score (Instruktion → Numerisch) meist positiv.
- Es gibt jedoch Konfigurationssensitivität: Bei bestimmten Modell- und LoRA-Einstellungen (z. B. Qwen25-7B) war der Drift Score leicht negativ (-0,040), was zeigt, dass das Phänomen nicht universell, aber systematisch auftritt.
Benchmark-Heterogenität: Die Ergebnisse sind stark vom verwendeten Benchmark abhängig. Während IFEval (strikte Constraints) keine Verbesserung zeigte, verbesserte sich die Leistung bei FollowBench (ein anderer Ansatz für Instruction Following). Dies unterstreicht, dass „Instruction Following" kein einheitliches Konzept ist.
Detaillierte Analyse (Abbildung 3): Die Verschlechterung bei IFEval ist nicht gleichmäßig verteilt. Bestimmte Constraint-Typen (z. B. „language constraints" oder „keywords:existence") verschlechterten sich stark, während andere leicht verbessert wurden.

5. Bedeutung und Fazit

Das Paper hat weitreichende Implikationen für das Deployment und die Evaluation von KI-Modellen:

Warnung vor nominalen Labels: Es ist gefährlich, sich bei der Modellauswahl und dem Deployment ausschließlich auf die Trainingslabels (z. B. „instruction-tuned") zu verlassen. Diese sind keine verlässlichen Proxy-Metriken für die tatsächlichen Fähigkeiten.
Notwendigkeit von Cross-Task-Evaluation: Bevor Adapter eingesetzt werden, sollte eine routinemäßige Evaluation über verschiedene Aufgaben hinweg durchgeführt werden, um unbeabsichtigte Verschiebungen (Drift) oder unerwünschte Leistungssteigerungen in falschen Bereichen zu erkennen.
Unterscheidung von Konzepten: Instruction Tuning darf nicht mit der Verbesserung der strikten, automatisch verifizierbaren Einhaltung von Anweisungen gleichgesetzt werden. Ein Modell kann „hilfreicher" wirken oder in spezifischen Benchmarks besser abschneiden, ohne die strengen Constraints zu erfüllen.
Keine einfache mechanistische Erklärung: Die explorativen Untersuchungen (Probing) deuten darauf hin, dass es keine einfache, lokalisierte Erklärung (z. B. ein einzelnes Modul) für diesen Drift gibt; die Ursachen sind wahrscheinlich verteilt und komplex.

Zusammenfassend fordert das Paper die Community auf, nominalen Labels skeptisch gegenüberzustehen und stattdessen robuste, aufgabenübergreifende Evaluierungen durchzuführen, um sicherzustellen, dass die adaptierten Modelle tatsächlich das leisten, was sie laut Label leisten sollen.