RubricRAG: Towards Interpretable and Reliable LLM Evaluation via Domain Knowledge Retrieval for Rubric Generation

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker geëvalueerd en getraind met geautomatiseerde beoordelaars (zoals "LLM-as-a-judge") die scalar scores of voorkeuren outputten. Hoewel deze methoden handig zijn, zijn ze vaak ondoorzichtig (opaque): een enkele score legt niet uit waarom een antwoord goed of slecht is, welke eisen gemist werden, of hoe een systeem verbeterd kan worden. Dit gebrek aan interpretabiliteit beperkt hun bruikbaarheid voor modelontwikkeling en inzet in hoog-risico domeinen (zoals gezondheidszorg).

Rubric-gebaseerde evaluatie (het gebruik van beoordelingscriteria) biedt een transparanter alternatief door kwaliteit op te splitsen in expliciete, controleerbare criteria. Het handmatig ontwerpen van query-specifieke rubrics is echter arbeidsintensief en cognitief veeleisend. Bestaande methoden voor het automatisch genereren van rubrics door LLM's blijken vaak niet goed genoeg te zijn: ze zijn niet goed uitgelijnd met menselijke rubrics en zijn niet effectief genoeg voor menselijke gebruikers of downstream evaluaties.

Methodologie: RubricRAG

De auteurs onderzoeken of LLM's nuttige, instance-specifieke rubrics kunnen genereren die vergelijkbaar zijn met menselijk geschreven rubrics. Ze introduceren een strategie genaamd RubricRAG (Rubric Retrieval-Augmented Generation).

1. Taakdefinitie: Gegeven een gebruikersquery (bijv. een medische vraag), moet het model een lijst van fijne rubrics genereren. Elke rubric bestaat uit een criterium en een puntwaarde (positief voor gewenst gedrag, negatief voor fouten/risico's).
2. Benaderingen vergeleken:
   • Zero-shot & Few-shot: Het model genereert rubrics alleen op basis van instructies of met willekeurige voorbeelden.
   • Supervised Fine-Tuning (SFT): Het model wordt getraind om menselijke rubrics direct te voorspellen.
   • GRPO (Reinforcement Learning): Een RL-benadering met multi-objective beloningen (formaat, gelijkenis, diversiteit, lengte).
   • RubricRAG (De kerninnovatie): Het model haalt bij inferentie gelijksoortige queries op uit een dataset (via een dense retriever) en gebruikt de bijbehorende menselijke rubrics als context (few-shot voorbeelden). Dit helpt het model om de nuances van de specifieke query te begrijpen.
3. Evaluatiemetrics:
   • Rubric-Similarity: Aangepaste versies van BLEU, ROUGE en een LLM-judge score, berekend op criterium-niveau (niet als één string) om zowel lexicaal als semantisch overlap te meten.
   • Foutanalyse: Meting van "Missed" (gemiste menselijke criteria), "Hallucinations" (niet-bestaande criteria) en "Redundancy" (overlappende gegenereerde criteria).
   • Downstream Effectiviteit: Hoe goed helpen de gegenereerde rubrics een LLM-judge om een goed antwoord te onderscheiden van een slecht antwoord, en hoe sterk correleren de scores met menselijke beoordelingen?

Belangrijkste Bijdragen

1. Nieuwe Evaluatiemetrics: Introductie van Rubric-BLEU, Rubric-ROUGE en een Rubric-LLM-judge om de uitlijning met menselijke rubrics kwantitatief te meten.
2. Empirische Bevindingen over Zero-shot: Het paper toont aan dat kant-en-klare LLM's in zero-shot setting slechte rubric-generators zijn; ze genereren vaak te generieke en ongedefinieerde criteria.
3. RubricRAG Strategie: Het introduceren van een simpele maar effectieve strategie waarbij rubrics van semantisch gelijkaardige queries worden opgehaald om de generatie te verbeteren.
4. Vergelijking met Post-training: Het demonstreert dat retrieval-augmentatie (RubricRAG) vaak beter presteert dan complexe post-training methoden (zoals SFT of GRPO) voor zowel de kwaliteit van de rubrics als de downstream evaluatie.

Resultaten

• Granulariteit: Fijne, query-specifieke rubrics (menselijk geschreven) presteren significant beter dan grove rubrics of geen rubrics bij het onderscheiden van goed versus slecht gedrag door LLM-judges.
• Generatiekwaliteit:
  • Zero-shot: Presteert slecht op alle metrics (lage lexicaal/semantische overlap).
  • Few-shot: Levert bescheiden verbeteringen, maar is niet voldoende.
  • SFT: Bereikt hoge lexicaal overlap (BLEU/ROUGE), maar faalt soms op semantische uitlijning en downstream correlatie.
  • RubricRAG: Bereikt de hoogste scores op zowel lexicaal als semantische gelijkenis met menselijke rubrics. Het presteert beter dan SFT en GRPO, ondanks dat het geen extra training vereist.
• Downstream Effectiviteit: RubricRAG leidt tot de sterkste correlatie tussen model-gegenereerde scores en menselijke scores. Het helpt LLM-judges ook het beste om goede antwoorden boven slechte te verkiezen.
• Trade-off: Hoewel RubricRAG de dekking verbetert en hallucinaties vermindert, introduceert het soms redundantie (overlappende criteria). Echter, dit wordt gezien als een aanvaardbaar compromis voor de winst in specificiteit en dekking.
• Kwalitatieve Analyse: Zero-shot generaties zijn vaak te vaag (bijv. "wees veilig"), terwijl RubricRAG specifieke, contextuele criteria genereert (bijv. "verwijs door naar een ziekenhuis als er geen chirurgische faciliteit is").

Betekenis en Conclusie

Het paper concludeert dat contextuele gronding (via retrieval) cruciaal is voor het genereren van bruikbare, interpreteerbare rubrics. Het vertrouwen alleen op de voorkennis van een LLM (zero-shot) of puur op oppervlakkige training (SFT) is onvoldoende.

• Schaalbaarheid: RubricRAG biedt een schaalbare weg naar interpretabele evaluatie zonder de enorme kosten van handmatig rubric-ontwerp.
• Toekomstige Richting: Hoewel RubricRAG een grote stap voorwaarts is, moet er nog gewerkt worden aan het verminderen van redundantie (bijv. via semantische deduplicatie) en het optimaliseren van trainingdoelen die direct gericht zijn op het nut van de rubric in plaats van alleen oppervlakkige gelijkenis.

Kortom, het paper toont aan dat het ophalen van domein-specifieke kennis (rubrics) van vergelijkbare gevallen de meest effectieve manier is om LLM's te laten genereren tot betrouwbare en interpreteerbare beoordelingscriteria.