RubricRAG: Towards Interpretable and Reliable LLM Evaluation via Domain Knowledge Retrieval for Rubric Generation

1. Il Problema

Le Large Language Models (LLM) sono sempre più valutate e talvolta addestrate utilizzando "giudici automatizzati" (LLM-as-judges) che producono punteggi scalari o preferenze binarie. Sebbene comodi, questi approcci sono spesso opachi: un singolo numero non spiega perché una risposta sia buona o cattiva, quali requisiti siano stati mancati o come migliorare il sistema.
La mancanza di interpretabilità limita l'utilità di questi sistemi per lo sviluppo di modelli, la curatela dei dataset e il deployment in ambiti ad alto rischio (es. sanità).
Le rubriche basate su query specifiche offrono un'alternativa trasparente, scomponendo la qualità in criteri espliciti e verificabili. Tuttavia, la progettazione manuale di rubriche di alta qualità per ogni singola query è laboriosa, cognitivamente impegnativa e non scalabile. L'obiettivo di questo lavoro è investigare se le LLM possano generare automaticamente rubriche specifiche per istanza, simili a quelle umane, e se queste siano efficaci per la valutazione downstream.

2. Metodologia

Gli autori hanno proposto e valutato diverse strategie per la generazione di rubriche, introducendo un nuovo approccio chiamato RubricRAG.

Approcci di Generazione Valutati:

1. Zero-Shot: La LLM genera le rubriche direttamente dalla query senza esempi.
2. Few-Shot: Vengono forniti alla LLM $k$ esempi casuali di coppie (query, rubrica) dal set di addestramento.
3. Supervised Fine-Tuning (SFT): La LLM viene addestrata (con LoRA) per prevedere direttamente le rubriche scritte da umani condizionate alla query.
4. Reinforcement Learning (GRPO): Un approccio basato su Group Relative Policy Optimization che ottimizza la generazione utilizzando una funzione di ricompensa multi-obiettivo (correttezza del formato, similarità con l'umano, diversità e deviazione dalla media).
5. RubricRAG (Retrieval-Augmented Generation): Questa è la proposta centrale. Invece di usare esempi casuali, il sistema recupera le rubriche di query semanticamente simili dal set di addestramento utilizzando un retriever denso. Queste rubriche recuperate vengono fornite come contesto (few-shot) per guidare la generazione della nuova rubrica.

Metriche di Valutazione:

Per misurare la qualità delle rubriche generate, gli autori hanno introdotto metriche specifiche:

• Rubric-BLEU e Rubric-ROUGE: Calcolati a livello di criterio (macro-average "best overlap") invece che a livello di stringa intera, per gestire la permutazione dei criteri.
• Rubric-LLM-Judge: Un giudice LLM leggero che assegna un punteggio di similarità semantica (0-9) tra un criterio generato e uno di riferimento.
• Metriche di Fallimento: Tasso di Missed (criteri umani non coperti), Hallucinations (criteri generati non presenti negli umani) e Redundancy (criteri generati ridondanti tra loro).
• Utilità Downstream: Correlazione tra i punteggi ottenuti con rubriche generate e quelle umane, e capacità di discriminare tra risposte "buone" e "cattive".

Dataset:

Lo studio è stato condotto su due benchmark principali:

• OpenAI HealthBench: Query mediche complesse con rubriche scritte da medici.
• ResearchRubrics: Query per compiti di ricerca profonda con criteri strutturati.

3. Contributi Chiave

1. Nuove Metriche di Valutazione: Introduzione di Rubric-BLEU, Rubric-ROUGE e Rubric-LLM-Judge per quantificare l'allineamento lessicale e semantico con le rubriche umane.
2. Analisi delle LLM "Off-the-Shelf": Dimostrazione che le LLM standard, in modalità zero-shot, sono generatori di rubriche scadenti, producendo criteri generici e poco allineati alla struttura fine richiesta.
3. Introduzione di RubricRAG: Proposta di una strategia semplice ma efficace che recupera conoscenze di dominio (rubriche) da query simili al momento dell'inferenza.
4. Confronto con Post-Training: Evidenziazione che l'approccio basato sul recupero (RAG) supera o eguaglia metodi costosi come SFT e GRPO in termini di allineamento semantico e utilità pratica, senza richiedere grandi set di dati di addestramento.

4. Risultati Principali

• Granularità delle Rubriche: Le rubriche specifiche per istanza (query-specific) e quelle a livello di cluster sono significativamente più efficaci nel far preferire alle LLM le risposte buone rispetto a quelle cattive, rispetto alle rubriche generiche o all'assenza di rubriche (vedi Figura 1 del paper).
• Performance di Generazione:
  • Le LLM in Zero-Shot ottengono punteggi bassi su tutte le metriche di similarità.
  • Il Few-Shot con esempi casuali migliora le prestazioni, ma in modo modesto.
  • RubricRAG ottiene i punteggi di similarità più alti (sia lessicale che semantica), superando SFT e GRPO. In particolare, la versione RubricRAG (nothink), che disabilita i token di ragionamento intermedi, performa meglio di quella con ragionamento, suggerendo che il "pensiero" intermedio può introdurre rumore.
• Qualità dei Criteri:
  • Le rubriche Zero-Shot tendono ad essere generiche e sotto-specificate (es. "assicurarsi la sicurezza" invece di dettagli clinici specifici).
  • RubricRAG produce rubriche molto più specifiche, concrete e azionabili, catturando le sfumature del contesto (es. logistica di trasferimento in aree rurali).
  • Trade-off: Sebbene RubricRAG riduca le allucinazioni e i criteri mancati, tende a introdurre una maggiore ridondanza (criteri sovrapposti), un problema che potrebbe essere mitigato con post-processing semantico.
• Utilità Downstream: Le rubriche generate con RubricRAG mostrano la correlazione più forte (Spearman $\rho \approx 0.545$) con i giudizi umani e la migliore capacità di discriminare tra risposte buone e cattive. Sorprendentemente, l'SFT, pur avendo alta similarità lessicale, non si traduce in una migliore efficacia di valutazione downstream rispetto al RAG.

5. Significato e Conclusioni

Il lavoro dimostra che la generazione automatica di rubriche specifiche per istanza è una via promettente per rendere la valutazione delle LLM più interpretabile e affidabile.
I risultati chiave sono:

1. Il contesto è fondamentale: L'allineamento con le rubriche umane dipende criticamente dalla conoscenza contestuale. Recuperare esempi rilevanti (RAG) è più efficace che affidarsi alla conoscenza pre-addestrata della modello o a semplici prompt zero-shot.
2. La similarità superficiale non basta: Ottimizzare per la similarità lessicale (come fa l'SFT) non garantisce una migliore utilità pratica nella valutazione. La struttura semantica e la pertinenza contestuale sono più importanti.
3. Scalabilità: RubricRAG offre un approccio scalabile che non richiede costosi cicli di addestramento (SFT/RL) ma sfrutta efficientemente la conoscenza esistente nel dataset.

In sintesi, il paper suggerisce che per ottenere valutazioni di alta qualità e interpretabili, è necessario combinare il recupero di conoscenza contestuale (RAG) con una progettazione attenta per gestire la ridondanza, avvicinandosi così alla qualità delle rubriche scritte da esperti umani.