VLM Judges Can Rank but Cannot Score: Task-Dependent Uncertainty in Multimodal Evaluation

1. Enunciato del Problema

I Modelli Vision-Language (VLM) sono sempre più impiegati come giudici automatizzati ("VLM-as-a-Judge") per valutare sistemi di IA multimodali attraverso compiti diversificati (ad esempio, ragionamento su grafici, descrizione di immagini, QA visivo). Tuttavia, esiste una limitazione critica: i giudici VLM forniscono solo punteggi puntuali (ad esempio, 4/5) senza alcuna indicazione di affidabilità.

• Il Divario di Affidabilità: Un punteggio di 4/5 potrebbe rappresentare un'alta confidenza o un'incertezza sostanziale. Gli utenti non possono distinguere tra i due casi.
• Complessità Multimodale: Gli errori nei VLM derivano sia dalla percezione visiva che dal ragionamento linguistico, moltiplicando l'incertezza.
• Fallimento delle Metriche: Le metriche standard (correlazione, accuratezza) non riescono a catturare l'affidabilità per istanza. Ad esempio, un giudice potrebbe ottenere un'alta correlazione di ranking (ordinando correttamente le risposte) assegnando al contempo punteggi assoluti estremamente inaccurati.
• Stato Attuale: I giudici VLM all'avanguardia raggiungono solo un accordo esatto del ~32–34% con le valutazioni umane su una scala a 5 punti, con deviazioni significative.

2. Metodologia

Gli autori propongono l'uso della Predizione Conformale (CP), un framework libero da distribuzioni, per convertire i punteggi puntuali in intervalli di previsione calibrati.

• Meccanismo Principale:
  • Input: Invece di riaddestrare il modello, il metodo estrae i log-probabilità dei token di punteggio dall'output del VLM. Per una scala Likert da 1 a 5, questo forma un vettore di caratteristiche a 5 dimensioni $x = [\log P(1), \dots, \log P(5)]$.
  • Framework: Utilizzando un set di calibrazione di punteggi annotati dall'uomo, il metodo calcola un punteggio di non conformità per determinare un intervallo di previsione $C(x) = [\hat{y} - \hat{q}, \hat{y} + \hat{q}]$.
  • Garanzia: L'intervallo è garantito per contenere il vero punteggio umano con una probabilità di almeno $1-\alpha$ (ad esempio, 90%), senza assunzioni sulle distribuzioni di errore.
• Adattamenti Chiave:
  • Regolazione dei Confini: Poiché la verità fondamentale è discreta (interi) ma la CP produce intervalli continui, gli autori applicano una regolazione dei confini per mappare gli intervalli su etichette di valutazione valide ($\lceil l \rceil, \lfloor u \rfloor$), migliorando significativamente la copertura.
  • CP Condizionata al Compito (Mondrian CP): Per affrontare l'eterogeneità dei compiti, i dati sono suddivisi in gruppi (Facile, Medio, Difficile) in base alle larghezze iniziali degli intervalli. Vengono calcolati quantili separati per ciascun gruppo, producendo intervalli più stretti per compiti facili e intervalli più ampi e sicuri per compiti difficili.
  • Divario Ranking-Scoring (RSG): Una nuova metrica definita come $RSG = |\rho| - (1 - \frac{w}{K-1})$, dove $\rho$ è la correlazione e $w$ è la larghezza dell'intervallo. Questa quantifica il disaccoppiamento tra capacità di ranking e affidabilità della valutazione.

3. Configurazione Sperimentale

• Giudici: Tre VLM con architetture e scale diverse:
  1. LLaVA-Critic-7B: Open-source, specializzato per la valutazione.
  2. Phi-4-reasoning-vision-15B: Grande modello di ragionamento.
  3. Gemini 2.5 Flash: API closed-source, noto per un forte ranking ma alta sovrastima della confidenza.
• Dataset:
  1. MLLM-as-a-Judge: 5.717 istanze attraverso 14 categorie di compiti visivi (ad esempio, ChartQA, MathVista, AesBench) con verità fondamentale di un singolo annotatore.
  2. Polaris: 8.726 coppie immagine-descrizione con verità fondamentale media di più annotatori (più pulita, compito ben definito).
• Protocollo: Split di calibrazione/test 50/50, 10 semi casuali, target di copertura del 90% ($\alpha=0.10$).

4. Risultati Chiave e Scoperte

A. Incertezza Dipendente dal Compito

L'incertezza non è uniforme; è fortemente guidata dal tipo di compito.

• Intervalli Stretti (Alta Affidabilità): I compiti estetici e di immagini naturali (ad esempio, AesBench) producono intervalli che coprono solo ~40% dell'intervallo di punteggio (larghezza $\approx$ 2.08).
• Intervalli Ampii (Bassa Affidabilità): I compiti pesanti visivamente che richiedono ragionamento complesso (ad esempio, InfographicsVQA, MathVista) producono intervalli che coprono ~70% dell'intervallo (larghezza $\approx$ 3.50).
• Coerenza: L'ordinamento della difficoltà del compito è coerente tra tutti e tre i giudici (Spearman $\rho \approx 0.82–0.93$), indicando che la difficoltà del compito, non l'identità del modello, guida l'incertezza.

B. Disaccoppiamento Ranking-Scoring

Il paper identifica una modalità di fallimento critica in cui le metriche standard sono fuorvianti:

• Fenomeno: I giudici possono ottenere un'alta correlazione di ranking (ordinando correttamente le risposte) producendo al contempo intervalli ampi e non informativi (fallendo nell'assegnare punteggi assoluti affidabili).
• Esempio: Su ChartQA, un giudice ha raggiunto la più alta correlazione di Pearson ($\rho=0.507$) ma ha prodotto uno degli intervalli più ampi (3.08).
• Implicazione: Un'alta correlazione non implica che il punteggio assoluto sia affidabile. Per compiti con alto RSG, il confronto a coppie è preferibile rispetto alla valutazione assoluta.

C. Impatto della Qualità dei Dati

• Dati Puliti vs. Rumore: Quando lo stesso giudice (LLaVA-Critic) e metodo sono stati applicati al dataset Polaris (descrizioni multiple annotatori, pulite), la larghezza dell'intervallo è scesa da 3.05 (MLLM-Judge) a 0.68.
• Risultato: Questa è una riduzione di 4.5× nella larghezza dell'intervallo, dimostrando che l'incertezza è guidata principalmente dal rumore di annotazione e dall'ambiguità del compito, non dal metodo conformale stesso.

D. Paradossi delle Prestazioni del Modello

• Sovrastima della Confidenza vs. Larghezza dell'Intervallo: Gemini 2.5 Flash era altamente sovrastimante (83% delle previsioni avevano softmax max > 0.99) eppure produceva gli intervalli più stretti. Questo dimostra che la qualità dell'intervallo dipende dal segnale discriminativo nelle log-probabilità, non dalla calibrazione della distribuzione softmax.
• Specializzazione > Scala: Sul compito specializzato Polaris, il 7B LLaVA-Critic (addestrato per la valutazione) ha superato di gran lunga il 15B Phi-4 (ragionamento generale), ottenendo una correlazione 7.1× più alta e intervalli 5.3× più stretti.

E. Confronto dei Metodi

• R2CCP (Regression-as-Classification) è stato il metodo con le migliori prestazioni, raggiungendo una copertura quasi perfetta del 90% con gli intervalli informativi più stretti.
• CQR (Conformalized Quantile Regression) ha fallito, collassando su intervalli a tutto raggio ($\approx$ 4.0) perché le log-probabilità dei token di punteggio sono predittori deboli per i quantili in questo contesto discreto.
• Fusione delle Caratteristiche: Combinare le caratteristiche log-prob da più giudici ha peggiorato le prestazioni, suggerendo che la qualità delle caratteristiche (un singolo giudice forte) supera la quantità.

5. Significato e Contributi

1. Mappa Quantitativa di Affidabilità: Il paper fornisce la prima mappatura sistematica dell'affidabilità della valutazione attraverso 14 compiti visivi, mostrando che "VLM-as-a-Judge" è affidabile per alcuni compiti (estetica) ma altamente incerto per altri (ragionamento complesso).
2. Nuova Modalità di Fallimento: Espone il Disaccoppiamento Ranking-Scoring, un fenomeno in cui le metriche standard (correlazione) mascherano l'incapacità dei giudici di fornire punteggi assoluti affidabili.
3. Framework Pratico: Dimostra che la Predizione Conformale può essere applicata alle pipeline VLM esistenti senza riaddestramento, utilizzando solo le log-probabilità per generare stime di incertezza utilizzabili.
4. Linea Guida Operativa: Gli autori propongono una regola pratica: Intervalli stretti indicano che la valutazione è adatta alla valutazione assoluta; intervalli ampi segnalano ambiguità, suggerendo che il ranking relativo o il confronto a coppie è la strategia di valutazione appropriata.
5. Insight sulla Qualità dei Dati: Evidenzia che migliorare la qualità dell'annotazione (consenso di più annotatori) produce guadagni di affidabilità maggiori rispetto al semplice aumento dei parametri del modello.

Conclusione

Il paper conclude che i giudici VLM non sono universalmente affidabili. La loro incertezza dipende strutturalmente dal compito e dalla qualità dei dati. Utilizzando la predizione conformale, i praticanti possono passare da una fiducia cieca nei punteggi puntuali a una comprensione sfumata di quando il punteggio di un giudice può essere affidato e quando dovrebbe essere trattato come un segnale di ranking rumoroso.