Riepilogo Tecnico: CriterAlign

Enunciato del Problema

La valutazione dei sistemi di generazione di codice è passata dalla semplice correttezza funzionale alla predizione delle preferenze umane a coppie, dove l'obiettivo è determinare quale delle due soluzioni candidate soddisfi meglio i compromessi specifici del compito (ad esempio, fedeltà visiva vs. struttura del codice). Sebbene i Modelli Linguistici su Larga Scala (LLM) siano sempre più utilizzati come giudici automatici, i giudici monolitici (che predicono una preferenza in un singolo passaggio) spesso non riescono ad allinearsi con le preferenze umane. Tendono ad essere fragili, sensibili all'ordine delle risposte e propensi a sovrastimare indizi superficiali come la verbosità o la formattazione, sottoutilizzando al contempo le prove di esecuzione.

Le alternative esistenti, i giudici basati su rubriche (basati su criteri), tentano di migliorare l'interpretabilità scomponendo la valutazione in criteri espliciti. Tuttavia, la maggior parte delle pipeline attuali rimane puntiforme: assegnano un punteggio a ciascuna risposta indipendentemente sotto ciascun criterio e derivano una preferenza confrontando i punteggi aggregati. Gli autori sostengono che questa progettazione sia scarsamente adattata alla natura della preferenza umana a coppie, dove la prova chiave è spesso comparativa piuttosto che assoluta. I risultati empirici mostrano che l'applicazione semplice di pipeline di rubriche puntiformi può performare peggio anche di forti giudici monolitici.

Metodologia: CriterAlign

Il documento propone CriterAlign, un framework incentrato sui criteri progettato specificamente per la predizione delle preferenze di codice a coppie. Adatta la valutazione basata su rubriche al contesto a coppie attraverso quattro meccanismi fondamentali e introduce un componente di sintesi della guida.

1. Valutazione dei Criteri a Coppie

Invece di assegnare punteggi puntiformi indipendenti a ciascuna risposta, CriterAlign chiede a un giudice di criterio di produrre un verdetto diretto a coppie per ciascun criterio generato: $v \in \{A, B, \text{parità}, \text{insufficiente}\}$. Questo sposta la valutazione da "la risposta A soddisfa il criterio X?" a "quale risposta soddisfa meglio il criterio X?". La preferenza finale è sintetizzata da un giudice LLM che aggrega questi verdetto comparativi, consentendo compromessi non uniformi tra i criteri (ad esempio, un divario di correttezza che prevale su vantaggi minori di stile).

2. Affinamento dei Criteri Guidato dalle Parità in Batch (BTCR)

Quando un criterio risulta in una "parità", spesso indica che il criterio è troppo grossolano per distinguere le risposte. CriterAlign impiega BTCR per affinare questi criteri in parità.

• Processo: Per ciascun criterio genitore in parità, il sistema genera sottocriteri più dettagliati condizionati alle risposte specifiche e alla motivazione della parità.
• Filtraggio: I sottocriteri generati vengono filtrati per ridondanza e conflitto con i criteri esistenti in modo batchato per garantire l'efficienza.
• Rivalutazione: I sottocriteri accettati vengono rivalutati utilizzando il giudice a coppie. Se i sottocriteri favoriscono risposte diverse, entrambi i verdetto sono mantenuti come prove di compromesso dettagliate per la sintesi finale.

3. Filtraggio dei Criteri per Coerenza di Scambio (SCF)

Per affrontare la nota sensibilità dei giudici a coppie all'ordine dei candidati (bias di posizione), CriterAlign introduce SCF.

• Meccanismo: Dopo l'affinamento, il sistema rivaluta gli stessi criteri con l'ordine dei candidati scambiato ($b, a$ invece di $a, b$).
• Filtraggio: Un giudizio a livello di criterio viene mantenuto solo se il verdetto è coerente sotto lo scambio (ad esempio, se $A$ vince in $(a, b)$, $A$ deve ancora vincere in $(b, a)$ dopo la mappatura del verdetto).
• Risultato: Questo rimuove prove instabili e sensibili alla posizione a livello di criterio invece di scartare l'intero esempio, fungendo sia da meccanismo di debiasing che da filtro di qualità.

4. Guida Allineata alle Preferenze Umane (HPAG)

Per allineare il framework alle ragioni umane, gli autori introducono HPAG, sintetizzata offline dal set di addestramento.

• Sintesi: Un sintetizzatore di guida confronta le decisioni di preferenza umana con le predizioni dei giudici monolitici sugli esempi di addestramento. Estrae lacune di motivazione ricorrenti — dimensioni che gli umani considerano importanti ma che il giudice ignora, sovrastima o sottostima.
• Iniezione: La guida risultante è distillata in principi generali e a livello di categoria (ad esempio, sviluppo web, sviluppo di giochi) compatti. Questi vengono iniettati in tre fasi della pipeline: il generatore di criteri, il giudice di criterio e il giudice finale. Questo garantisce che il sistema generi criteri rilevanti per gli umani, li giudichi con ragionamenti allineati agli umani e li sintetizzi secondo le priorità umane.

Contributi Chiave

1. Identificazione della Disallineamento: Gli autori validano empiricamente che le pipeline di generazione di criteri puntiformi sono disallineate con la predizione delle preferenze di codice a coppie, spesso performando peggio di forti giudici monolitici.
2. Framework CriterAlign: Un nuovo framework incentrato sui criteri a coppie caratterizzato da:
   • Verdetto diretti a coppie per i criteri.
   • Affinamento dei Criteri Guidato dalle Parità in Batch (BTCR) per risolvere le parità grossolane.
   • Filtraggio per Coerenza di Scambio (SCF) per rimuovere prove sensibili all'ordine.
   • Guida Allineata alle Preferenze Umane (HPAG) distillata dalle lacune di motivazione tra giudice umano e modello.
3. Validazione Empirica: Dimostrazione di guadagni costanti sul benchmark BigCodeReward, con studi di ablazione che isolano i contributi dell'adattamento a coppie, del filtraggio e della guida.

Risultati

Valutati sul set di validazione BigCodeReward (3.785 esempi):

• Baseline: Un giudice Qwen2.5-VL-32B monolitico ha raggiunto un'accuratezza del 60,4%.
• Rubriche Puntiformi: Le baseline esistenti di rubriche puntiformi (ad esempio, RRD, LLM Rubrics) hanno performato significativamente peggio, variando dal 48,1% al 55,0%, confermando il disallineamento.
• CriterAlign: Il framework completo ha migliorato l'accuratezza al 66,3%, un guadagno di +5,9 punti rispetto alla baseline monolitica e di +11,3 punti rispetto alla baseline di rubrica più forte riprodotta.
• Ablazione:
  • Passare dalla valutazione puntiforme a quella a coppie da sola ha recuperato le prestazioni al 61,8%.
  • Aggiungere BTCR, SCF e HPAG ha fornito miglioramenti cumulativi, con l'HPAG a livello di categoria che ha fornito l'impulso finale fino al 66,3%.
• Generalizzazione: Il metodo ha mostrato robustezza su diversi backbones di giudice (Kimi-VL, Gemma-4) e sintetizzatori di guida, con i maggiori guadagni relativi osservati su giudici più deboli.

Significato e Affermazioni

Il documento afferma che per la predizione delle preferenze di codice, la generazione di più criteri è insufficiente; l'allineamento di come i criteri vengono confrontati e sintetizzati con le preferenze umane a coppie è critico. CriterAlign dimostra che:

• L'adattamento a coppie è necessario per rendere la valutazione basata su criteri efficace per i compiti di preferenza.
• Il filtraggio delle prove instabili (tramite SCF) e l'affinamento delle parità non discriminative (tramite BTCR) sono essenziali per la robustezza.
• La sintesi di guida offline (HPAG) può colmare efficacemente il divario tra le predizioni dei giudici monolitici e le motivazioni umane senza fine-tuning del modello giudice, permettendo a modelli congelati di allinearsi a specifici pattern di preferenza umana.

Il lavoro si posiziona come un passo verso una valutazione automatizzata più trasparente, interpretabile e affidabile per la generazione di codice, andando oltre i giudizi monolitici a scatola nera verso un ragionamento strutturato sulle preferenze basato su prove.