🤖 AI

CRAFT: Clustering Rubrics to Diagnose Weak LLM Capabilities and Generate Targeted Fine-Tuning Data

Das Papier stellt CRAFT vor, eine Methode, die rubrikbasierte Evaluierungen in einen hierarchischen Fähigkeitsbaum umwandelt, um spezifische Modellschwächen zu diagnostizieren und gezielte Fine-Tuning-Daten zu generieren, was zu einer messbar verbesserten Leistung über Finanz- und Rechtsdomänen hinweg im Vergleich zu bestehenden Clustering- und Random-Generation-Baselines führt.

Ursprüngliche Autoren: Vipul Gupta, Zihao Wang, Razvan-Gabriel Dumitru, MohammadHossein Rezaei, Aakash Sabharwal, Yunzhong He

Veröffentlicht 2026-07-20

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Vipul Gupta, Zihao Wang, Razvan-Gabriel Dumitru, MohammadHossein Rezaei, Aakash Sabharwal, Yunzhong He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber etwas tollpatschigen Roboter einen neuen Job beizubringen. Sie machen mit ihm einen Test, und er fällt durch. Ein Standardbericht würde vielleicht nur sagen: „Der Roboter ist im Mathematik-Teil durchgefallen“ oder „Der Roboter ist schlecht darin, juristische Verträge zu schreiben“. Das ist zwar hilfreich, aber auch ein wenig vage. Es ist, als würde ein Arzt zu Ihnen sagen: „Sie haben Magenschmerzen“, ohne Ihnen zu sagen, ob Sie etwas Schlechtes gegessen haben, ob Sie gestresst sind oder ob Sie eine Tablette brauchen. Um den Roboter für das nächste Mal zu korrigieren, müssen Sie genau wissen, was schiefgelaufen ist, damit Sie genau diese Sache üben können.

Dies ist die Welt der Large Language Models (LLMs), der superintelligenten KI-Gehirne, die Geschichten schreiben, Probleme lösen und Fragen beantworten. Wissenschaftler haben jahrelang daran gearbeitet, bessere Wege zu finden, um diese KIs zu testen, aber die meisten Tests liefern nur eine Endnote. Sie sagen uns, wo die KI schwach ist, aber nicht, warum. Die große Frage, die Forscher stellen, lautet: Wie verwandeln wir ein einfaches „Du hast versagt“ in ein spezifisches „Hier ist genau das, was du üben musst“? Wenn wir das beantworten können, können wir bessere Trainingsdaten erstellen, um der KI zu helfen, schneller und intelligenter zu lernen, anstatt nur zu raten, was sie als Nächstes lehren soll.

Der „Rubrik“-Detektiv: CRAFT

Lernen Sie CRAFT kennen (Clustering Rubrics for Actionable Fine-Tuning). Betrachten Sie CRAFT als einen superstarken Detektiv, der nicht nur die Endnote eines Schülers bei einer Prüfung betrachtet; er untersucht jedes einzelne Element auf der Rubrik (der Checkliste der Regeln für eine perfekte Antwort), um herauszufinden, welche winzige Fähigkeit der Schüler verpasst hat.

So entfaltet sich die Geschichte:

1. Das Problem mit „Nur einer Note“
Stellen Sie sich vor, Sie bewerten eine Hausaufgabe in Mathematik. Ein Standardtest sagt vielleicht nur: „Du hast 60 % erreicht.“ Das ist nicht besonders hilfreich, um das Problem zu beheben. Hat der Schüler die Formel vergessen? Hat er einen einfachen Additionsfehler gemacht? Hat er vergessen, die Einheiten (wie „Meter“ oder „Dollar“) anzugeben?
In der Welt der KI verwenden Forscher Rubriken. Eine Rubrik ist wie eine detaillierte Checkliste. Für eine Matheaufgabe könnte die Rubrik sagen: „1. Identifiziere die richtigen Zahlen. 2. Stelle die Gleichung auf. 3. Löse die Rechnung. 4. Füge die korrekten Einheiten hinzu.“
Die meisten KI-Tests bleiben beim Endergebnis stehen. Aber CRAFT sagt: „Warte! Lass uns die Checkliste betrachten.“ Es behandelt jedes einzelne Element auf dieser Checkliste als eine winzige „Sonde“ oder einen Mini-Test für eine spezifische Fähigkeit.

2. Der magische Baum
CRAFT nimmt tausende dieser Checklisten-Elemente aus verschiedenen Fragen und bittet eine intelligente KI, zu beschreiben, welche Fähigkeit jedes einzelne prüft. Dann tut es etwas Magisches: Es baut einen Stammbaum der Fähigkeiten.

An der Spitze des Baumes stehen breite Kategorien wie „Finanzen“ oder „Recht“.
Je weiter man die Äste hinuntergeht, desto spezifischer werden die Fähigkeiten. „Finanzen“ teilt sich in „Unternehmensfinanzierung“ auf, was sich wiederum in „Finanzierungskosten“ aufteilt, was wiederum in „Berechnung von Zinssätzen“ mündet.
An den untersten Blättern des Baumes befinden sich die spezifischen Checklisten-Elemente, wie zum Beispiel: „Hat die Antwort den Zinssatz erwähnt?“

Dieser Baum ist besonders, weil er nicht nur eine Liste ist; er ist eine Landkarte. Er zeigt, wie Fähigkeiten miteinander verwandt sind.

3. Die Schwachstellen finden
Nun testet CRAFT das KI-Modell an all diesen Fragen. Es zählt nicht nur die Gesamtpunktzahl; es prüft die Leistung der KI an jedem einzelnen Zweig des Baumes.

Vielleicht ist die KI gut in „Unternehmensfinanzierung“ (84 % Erfolgsquote), aber schlecht in der „Berechnung von Zinssätzen“ (48 % Erfolgsquote).
Vielleicht ist eine andere KI ganz okay bei „Zinssätzen“, scheitert aber am „Verständnis von Richtlinienänderungen“.

CRAFT ist klug genug zu wissen, dass man nicht einfach die untersten Blätter (zu spezifisch) oder die obersten Äste (zu vage) wählen sollte. Es sucht dynamisch im Baum nach dem „Sweet Spot“, an dem die Schwäche am deutlichsten ist. Es ist wie ein Trainer, der erkennt: „Du musst nicht den gesamten Fußball spielen; du musst speziell deine Eckbälle mit dem linken Fuß trainieren.“

4. Gezieltes Training
Sobald CRAFT diese Schwachstellen gefunden hat, hört es nicht einfach auf. Es nutzt sie, um gezielte Trainingsdaten zu generieren.
Stellen Sie sich vor, Sie sind ein Lehrer. Anstatt dem Schüler 1.000 zufällige Matheaufgaben zu geben, sagt CRAFT: „Hier sind 40 Aufgaben speziell zum Thema 'Berechnung von Zinssätzen', weil du dort immer wieder scheiterst.“
Die Forscher nutzten diese Methode, um synthetische (computergenerierte) Übungsbeispiele für vier verschiedene KI-Modelle (Qwen3-4B, Qwen3-8B, Gemma-3-4B und Llama-3.1-8B-Instruct) in zwei anspruchsvollen Bereichen zu erstellen: Finanzen und Recht.

5. Die Ergebnisse: Hat es funktioniert?
Das Team verglich CRAFT mit zwei anderen Methoden:

Random (Zufällig): Das zufällige Auswählen von Übungsaufgaben aus demselben Thema.
EvalTree: Eine ähnliche Methode, die ganze Fragen gruppiert, anstatt sie in Checklisten-Elemente zu zerlegen.

Die Ergebnisse waren eindeutig:

In den Finanzen: CRAFT war der Gewinner für alle vier KI-Modelle. Es verschaffte ihnen den größten Leistungsschub, insbesondere den kleineren Modellen.
Im Rechtswesen: CRAFT war bei drei von vier Modellen der Beste. Bei dem vierten Modell war es genauso gut wie der beste Konkurrent, aber nicht schlechter.

Die Studie zeigte, dass das Aufteilen in winzige, spezifische Fähigkeiten (die Rubrik-Kriterien) viel besser ist, als nur ganze Fragen zu betrachten. Es ist der Unterschied zwischen dem Satz an einen Schüler „Du bist schlecht in Mathe“ und „Du musst die Langdivision üben“.

Was CRAFT NICHT ist
Es ist wichtig zu beachten, was dieses Paper nicht aussagt. Es behauptet nicht, dass CRAFT jedes Problem löst oder auf jedem einzelnen Benchmark perfekt funktioniert. Tatsächlich variierten die Ergebnisse etwas, je nach spezifischem KI-Modell und dem jeweiligen Test. Manchmal war eine Methode bei einer ganz bestimmten Frage etwas besser, aber CRAFT gewann konsistent, wenn man die Durchschnittsleistung über das gesamte Fachgebiet betrachtete. Das Paper betont auch, dass dies eine Methode zur Generierung besserer Trainingsdaten ist und kein Zauberstab, der eine KI augenblicklich perfekt macht.

Das Wichtigste in Kürze
CRAFT legt nahe, dass wir, wenn wir KI intelligenter machen wollen, aufhören müssen, nur das große Ganze zu betrachten, und statfangen müssen, auf die winzigen Details zu achten. Indem wir detaillierte Checklisten (Rubriken) verwenden, um genau zu finden, warum eine KI scheitert, können wir gezielte Trainingseinheiten erstellen, die das Problem tatsächlich beheben. Es verwandelt ein vages „Du hast versagt“ in einen klaren Fahrplan zur Verbesserung und beweist, dass der beste Weg zu lernen darin besteht, genau zu wissen, was man üben muss.

Technisches Resümee: CRAFT – Clustering von Rubriken zur Diagnose schwacher LLM-Fähigkeiten

1. Problemstellung

Aktuelle Evaluierungspipelines für Large Language Models (LLMs) dienen primsär dazu, die Leistung zu messen, scheitern jedoch oft daran, zu diagnostizieren, warum ein Modell versagt. Standardisierte Benchmarks fassen Ergebnisse typischerweise auf Aufgaben- oder Kategorienebene zusammen (z. B. „schwach in Mathematik“), was unterschiedliche zugrunde liegende Fehler miteinander vermengt. Beispielsweise könnte ein niedriger Wert bei einem mathematischen Problem daraus resultieren, dass die falsche Gleichung gewählt wurde, ein Rechenfehler unterlaufen ist oder Einheiten ausgelassen wurden – dies sind Fehler, die unterschiedliche Interventionen erfordern.

Obwohl rubrikbasierte Evaluierungen Antworten in explizite Kriterien zerlegen, behandeln bestehende Arbeiten diese Kriterien weitgehend als unabhängige Scoring-Instrumente oder Belohnungssignale. Es besteht eine Lücke in der Nutzung von Rubrik-Datensätzen, um eine strukturierte, modellspezifische Diagnose schwacher Fähigkeiten zu generieren, die direkt die Sammlung gezielter Post-Training-Daten leiten kann.

2. Methodik: CRAFT

Die Autoren schlagen CRAFT (Clustering Rubrics for Actionable Fine-Tuning) vor, eine Methode, die rubrik-annotierte Evaluierungsdaten in eine hierarchische, modellspezifische Diagnose schwacher Fähigkeiten umwandelt. Die Pipeline besteht aus vier Hauptphasen:

2.1 Extraktion von Fähigkeiten (Capability Extraction)

CRAFT behandelt jedes Prompt–Rubrik-Paar als „Fähigkeitssonde“ (capability probe). Für jedes Kriterium im Datensatz extrahiert ein Sprachmodell eine dekontextualisierte, kurze Beschreibung in natürlicher Sprache der spezifischen Fähigkeit, die erforderlich ist, um dieses Kriterium zu erfüllen. Dies transformiert den Datensatz von einer Sammlung von Bewertungsregeln in einen Pool von Fähigkeitsbeschreibungen.

2.2 Hierarchisches Clustering

Die extrahierten Fähigkeitsbeschreibungen werden mithilfe eines Bottom-up-Verfahrens auf Ebene der Ebenen (level-by-level), das von Clio adaptiert wurde, in einem hierarchischen Baum organisiert:

Feste obere Ebenen: Wenn der Datensatz Metadaten bereitstellt (z. B. Domäne oder Unterkategorie), definieren diese die obersten Ebenen des Baums, um die beabsichtigten Taxonomien zu bewahren.
Basis-Clustering: Innerhalb jeder Gruppe werden die Fähigkeitsbeschreibungen eingebettet und mittels $k$ -Means in Basis-Cluster partitioniert. Ein LLM benennt jedes Cluster, um eine semantische Beschreibung zu generieren.
Konstruktion höherer Ebenen: Der Baum wird dynamisch aufgebaut. Interne Knoten werden durch die Zusammenfassung von Child-Clustern, die Konsolidierung von Kandidaten, das Routing von Kindern zu Eltern und die Verfeinerung der Elternbeschreibungen erstellt. Die Tiefe des Baums ist nicht fixiert; sie wird durch die Datengröße bestimmt, sodass größere Datensätze tiefere Hierarchien erzeugen können.

2.3 Scoring und dynamische Auswahl

Das Zielmodell wird gegenüber den Rubrik-Kriterien unter Verwendung eines LLM-as-a-Judge evaluiert, um Pass/Fail-Labels zu generieren. Diese Blatt-Scores (leaf scores) werden aufwärts aggregiert, um eine Erfolgsquote (pass rate) für jeden Knoten im Baum zu berechnen.

Dynamische Auswahl: Anstatt sich auf eine feste Baumtiefe festzulegen, führt CRAFT eine Top-down-Suche über die Ebenen hinweg durch, um schwach performante Knoten zu identifizieren. Ein Knoten wird nur ausgewählt, wenn er über ausreichend Unterstützung verfügt (z. B. >30 Kriterien) und einen Schwellenwert für die Erfolgsquote erreicht.
Granularität: Sob es einen Knoten ausgewählt wurde, werden dessen Vorfahren (ancestors) und Nachfahren (descendants) ausgeschlossen, um disjunkte Bereiche schwacher Fähigkeiten sicherzustellen. Dies ermöglicht es der Methode, Schwächen auf der spezifischen Granularität zu wählen, auf der sie am deutlichsten zum Ausdruck kommen (z. B. ein breiter Parent-Knoten für eine allgemeine Schwäche oder ein enger Child-Knoten für ein spezifisches Versagen).

2.4 Gezielte Datengenerierung

Die ausgewählten Knoten mit schwachen Fähigkeiten dienen als Ziele für die Generierung von Supervised Fine-Tuning (SFT) Daten. Für jeden schwachen Knoten werden 40 synthetische Prompts generiert, die auf der Beschreibung des Knotens, Beispielen und dem Kontext des Baums basieren. Diese Prompts sind darauf ausgelegt, die spezifische diagnostizierte Schwäche gezielt anzusprechen und Überlappungen mit benachbarten Fähigkeiten zu vermeiden.

3. Experimenteller Aufbau

Die Autoren evaluierten CRAFT gegen zwei Baselines über vier Open-Source-Modelle (Qwen3-4B, Qwen3-8B, Gemma-3-4B, Llama-3.1-8B-Instruct) in zwei professionellen Domänen: Finanzen und Recht.

Baselines:
- EvalTree: Eine Methode zum hierarchischen Clustering auf Prompt-Ebene, die ganze Prompts statt Rubrik-Kriterien organisiert.
- Random: Ein nicht-zielgerichteter Ansatz, der Prompts gleichmäßig aus dem Domänen-Pool sampelt, ohne eine Hierarchie oder Diagnosen von Schwächen aufzubzunehmen.
Kontrollen: Alle Methoden verwendeten identische Downstream-Einstellungen: dasselbe Teacher-Modell für die Generierung, ein festes Budget von 1.000 Beispielen für das Training, identische SFT-Hyperparameter und dasselbe Evaluierungsprotokoll.
Benchmarks: Die Leistung wurde anhand von 13 gehaltenen (held-out) Benchmarks (7 rechtlich, 6 finanziell) gemessen, die disjoint zu den diagnostischen Daten waren. Die Ergebnisse wurden über wiederholte Durchläufe mit Temperatur-Dekodierung gemittelt, um die Varianz zu berücksichten.

4. Kernergebnisse

Finanzdomäne: CRAFT erzielte für alle vier Modelle die stärkste durchschnittliche Domänenleistung. Die Verbesserungen waren besonders signifikant für Qwen3-4B und Llama-3.1-8B, bei denen CRAFT die Baselines um über 5 Punkte im Domänen-Durchschnitt übertraf.
Rechtsdomäne: CRAFT erzielte die stärkste durchschnittliche Leistung für drei der vier Modelle. Für das vierte Modell (Qwen3-8B) lag der Score von CRAFT innerhalb der Dekodier-Varianzbandbreite der besten Baseline (EvalTree), was auf eine vergleichbare Leistung hindeutet.
Ablationsstudie: Die Autoren verglichen die dynamische Auswahl von CRAFT mit der Auswahl auf fester Ebene (L4 und L5). Die dynamische Auswahl übertraf die festen Ebenen konsistent, was zeigt, dass sich Schwächen je nach Modell und Domäne in unterschiedlichen Tiefen manifestieren. Feste Ebenen führten entweder zu einer Fragmentierung breiter Schwächen oder zur Verschmelzung engerer Schwächen, während die dynamische Auswahl auf die Evidenz reagierte.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass CRAFT den Wert demonstriert, über die Diagnose auf Aufgaben- oder Prompt-Ebene hinaus zur Diagnose auf Rubrik-Kriterium-Ebene überzugehen.

Diagnostische Granularität: Indem CRAFT Rubrik-Kriterien als Fähigkeitssonden behandelt, identifiziert es, warum ein Modell versagt (z. B. spezifische Argumentationsschritte oder Formatierungsanforderungen), anstatt nur, wo es versagt.
Handlungsorientierter Output: Die Methode übersetzt gemessene Fehler direkt in gezielte Fine-Tuning-Daten. Die Ergebnisse legen nahe, dass Evaluierungen für das Post-Training am nützlichsten sind, wenn sie Fehlermodi erklären und in spezifische Trainingsziele umwandeln.
Überlegenheit gegenüber Prompt-basiertem Clustering: Der Vergleich mit EvalTree zeigt, dass die Organisation von Daten nach Rubrik-Kriterien informativere diagnostische Einheiten liefert als die Organisation nach ganzen Prompts.
Wert der Struktur: Der Vergleich mit der Random-Baseline bestätigt, dass das bloße Hinzufügen von mehr In-Domain-Daten weniger effektiv ist als die Strukturierung dieser Daten um eine bewertete Fähigkeitshierarchie und das gezielte Ansteuern schwacher Knoten.

Zusammenfassend lässt sich sagen, dass die Autoren postulieren, dass CRAFT ein schärferes Bild der Modellbeschränkungen liefert und durch das Adressieren der durch Rubrik-Clustering identifizierten Grundursachen des Versagens messbar bessere Modelle nach dem Fine-Tuning hervorbringt.