Technische Samenvatting: CRAFT – Clustering van Rubrieken om Zwakke LLM-capaciteiten te Diagnostiseren

1. Probleemstelling

Huidige evaluatiepipelines voor Large Language Models (LLMs) dienen primair om prestaties te meten, maar falen vaak in het diagnosticeren van waarom een model faalt. Standaard benchmarks vatten resultaten doorgaans samen op taak- of categorieniveau (bijv. "zwak in wiskunde"), wat onderscheidende onderliggende fouten met elkaar vermengt. Een lage score op een wiskundig probleem kan bijvoorbeeld voortkomen uit het selecteren van de verkeerde vergelijking, een rekenfout maken, of het weglaten van eenheden — fouten die verschillende interventies vereisen.

Hoewel rubriekgebaseerde evaluaties responsen ontleden in expliciete criteria, behandelt bestaand werk deze criteria grotendeels als onafhankelijke beoordelingsinstrumenten of beloningssignalen. Er is een gat in het benutten van rubriekdatasets om een gestructureerde, modelspecifieke diagnose van zwakke capaciteiten te genereren die direct kan leiden tot de verzameling van gerichte post-training data.

2. Methodologie: CRAFT

De auteurs stellen CRAFT voor (Clustering Rubrics for Actionable Fine-Tuning), een methode die rubriek-geannoteerde evaluatiedata omzet in een hiërarchische, modelspecifieke diagnose van zwakke capaciteiten. De pipeline bestaat uit vier hoofdfasen:

2.1 Capaciteitsextractie

CRAFT behandelt elk prompt–rubriekpaar als een "capaciteitsproef" (capability probe). Voor elk criterium in de dataset extraheert een taalmodel een decontextualiseerde, korte natuurlijke taalbeschrijving van de specifieke capaciteit die vereist is om dat criterium te voldoen. Dit transformeert de dataset van een verzameling beoordelingsregels naar een pool van capaciteitsbeschrijvingen.

2.2 Hiërarchische Clustering

De geëxtraheerde capaciteitsbeschrijvingen worden georganiseerd in een hiërarchische boom via een bottom-up, niveau-per-niveau procedure aangepast van Clio:

• Vaste bovenste niveaus: Als de dataset metadata levert (bijv. domein of subcategorie), definiëren deze de bovenste niveaus van de boom om de beoogde taxonomieën te behouden.
• Basis-niveau clustering: Binnen elke groep worden de capaciteitsbeschrijvingen geëmbed en gepartitioneerd met behulp van $k$-means in basisclusters. Een LLM benoemt elk cluster om een semantische beschrijving te genereren.
• Constructie van hogere niveaus: De boom wordt dynamisch opgebouwd. Interne knopen worden gecreëerd door kindclusters te samenvatten, kandidaten te consolideren, kinderen naar ouders te routeren en ouderbeschrijvingen te verfijnen. De diepte van de boom staat niet vast; deze wordt bepaald door de omvang van de data, waardoor grotere datasets diepere hiërarchieën kunnen produceren.

2.3 Scoring en Dynamische Selectie

Het doelmodel wordt geëvalueerd tegen de rubriekcriteria met behulp van een LLM-als-rechter om pass/fail-labels te genereren. Deze blad-scores worden omhoog geaggregeerd om een slaagpercentage voor elke knoop te berekenen.

• Dynamische Selectie: In plaats van zich te committeren aan een vaste boomdiepte, voert CRAFT een top-down, cross-level zoektocht uit om slecht presterende knopen te identificeren. Een knoop wordt alleen geselecteerd als deze voldoende ondersteuning heeft (bijv. >30 criteria) en aan een drempelwaarde voor het slaagpercentage voldoet.
• Granulariteit: Zodra een knoop is geselecteerd, worden de voorouders en afstammelingen uitgesloten om disjuncte gebieden met zwakke capaciteiten te waarborgen. Dit stelt de methode in staat om zwakheden te selecteren op de specifieke granulariteit waar ze het duidelijkst tot uiting komen (bijv. een brede ouder-node voor een algemene zwakte of een smalle kind-node voor een specifieke fout).

2.4 Gerichte Datageneratie

De geselecteerde knopen met zwakke capaciteiten dienen als doelwitten voor het genereren van supervised fine-tuning (SFT) data. Voor elke zwakke knoop worden 40 synthetische prompts gegenereerd, geconditioneerd op de beschrijving van de knoop, voorbeelden en de context van de boom. Deze prompts zijn ontworpen om specifiek de gediagnosticeerde zwakte te targeten terwijl overlap met aangrenzende capaciteiten wordt vermeden.

3. Experimentele Opzet

De auteurs evalueerden CRAFT tegenover twee baselines over vier open-source modellen (Qwen3-4B, Qwen3-8B, Gemma-3-4B, Llama-3.1-8B-Instruct) in twee professionele domeinen: Finance en Legal.

• Baselines:
  • EvalTree: Een prompt-niveau hiërarchische clustering methode die hele prompts organiseert in plaats van rubriekcriteria.
  • Random: Een niet-gerichte aanpak die prompts uniform uit de domeinpool sampleert zonder een hiërarchie op te bouwen of zwakheden te diagnosticeren.
• Controles: Alle methoden gebruikten identieke downstream instellingen: dezelfde teacher model voor generatie, een vast budget van 1.000 voorbeelden, identieke SFT-hyperparameters en hetzelfde evaluatieprotocol.
• Benchmarks: Prestaties werden gemeten op 13 uit de dataset gehouden benchmarks (7 juridisch, 6 financieel) die losstaan van de diagnostische data. Resultaten werden gemiddeld over herhaalde runs met temperatuur-decoding om variantie te verklaren.

4. Belangrijkste Resultaten

• Finance Domein: CRAFT behaalde de sterkste gemiddelde domeinprestatie voor alle vier de modellen. De verbeteringen waren bijzonder significant voor Qwen3-4B en Llama-3.1-8B, waarbij CRAFT de baselines met meer dan 5 punten versloeg op het domeingemiddelde.
• Legal Domein: CRAFT behaalde de sterkste gemiddelde prestatie voor drie van de vier modellen. Voor het vierde model (Qwen3-8B) viel de score van CRAFT binnen de decoding-variantieband van de beste baseline (EvalTree), wat wijst op vergelijkbare prestaties.
• Ablatieonderzoek: De auteurs vergeleken de dynamische selectie van CRAFT met fixed-level selectie (L4 en L5). Dynamische selectie presteerde consistent beter dan de vaste niveaus, wat aantoont dat zwakheden zich op verschillende dieptes manifesteren afhankelijk van het model en het domein. Vaste niveaus fragmenteerden of voegden ofwel brede zwakheden samen of combineerden smalle zwakheden, terwijl dynamische selectie zich aanpaste aan de bewijslast.

5. Betekenis en Claims

Het artikel claimt dat CRAFT de waarde aantoont van het bewegen voorbij taak- of prompt-niveau diagnostiek naar rubriek-criterium-niveau diagnostiek.

• Diagnostische Granulariteit: Door rubriekcriteria als capaciteitsproeven te behandelen, identificeert CRAFT waarom een model faalt (bijv. specifieke redeneerstappen of formatteringseisen) in plaats van alleen waar het faalt.
• Acteerbare Output: De methode vertaalt gemeten fouten direct naar gerichte fine-tuning data. De resultaten suggereren dat evaluaties het meest nuttig zijn voor post-training wanneer ze faalmodi verklaren en deze omzetten in specifieke trainingsdoelen.
• Superieur aan Prompt-niveau Clustering: De vergelijking met EvalTree geeft aan dat het organiseren van data op basis van rubriekcriteria meer informatieve diagnostische eenheden biedt dan het organiseren van hele prompts.
• Waarde van Structuur: De vergelijking met de Random baseline bevestigt dat het simpelweg toevoegen van meer in-domain data minder effectief is dan het structureren van die data rond een gescoord capaciteitshierarchie en het targeten van specifieke zwakke knopen.

Samenvattend stellen de auteurs dat CRAFT een scherper beeld geeft van de beperkingen van een model en meetbaar betere modellen oplevert na fine-tuning door de grondoorzaken van falen te adresseren die via rubriek-clustering zijn geïdentificeerd.