Riassunto Tecnico: Ogni Giudice il Suo Metro (JUDGEFIT)

Problema

La valutazione della coerenza fisica nei generatori di video e nei modelli di mondo si affida sempre più ai Modelli Vision-Language (VLM) come giudici automatizzati. Questi modelli forniscono segnali di ricompensa, decisioni di ranking e criteri di filtraggio dei dati. Tuttavia, i paradigmi di valutazione attuali applicano tipicamente una singola tassonomia globale fissa (ad esempio, un insieme di quattro domini fisici) uniformemente a tutti i VLM.

Questo approccio assume che tutti i VLM condividano gli stessi assi di competenza nella valutazione fisica e differiscano solo nell'entità dei loro punteggi lungo tali assi. L'articolo sostiene che ciò sia errato perché i VLM, addestrati su dati e architetture distinte, codificano i fenomeni fisici attraverso diverse rappresentazioni interne. Di conseguenza, uno schema fisso porta spesso a:

• Dimensioni Inattive: I punteggi di diversi VLM si concentrano su un singolo asse (ad esempio, "meccanica") mentre altre dimensioni rimangono quasi inattive.
• Perdita di Risoluzione: Lo schema non riesce a rivelare distinzioni tra punti di forza o punti ciechi tra diverse famiglie di modelli.
• Disallineamento: I VLM spesso discordano sostanzialmente con i valutatori umani sul senso comune fisico, mostrando bias di posizione e instabilità di punteggio.

Il problema centrale è che gli schemi di valutazione sono trattati come proprietà del benchmark piuttosto che come proprietà del valutatore. Un VLM dovrebbe essere valutato lungo dimensioni che può affidabilmente percepire e punteggiare.

Metodologia: JUDGEFIT

Gli autori propongono JUDGEFIT, una pipeline a due stadi, "seed-and-refine" (semina e raffinamento), progettata per scoprire una tassonomia di valutazione per ogni VLM. La procedura tratta lo schema di valutazione del giudice come un oggetto ottimizzabile, guidato da una diagnosi calibrata di ciò che quel Vico VLM può punteggiare in modo affidabile.

Stadio 1: Seed (Annotazione Aperta e Clustering)

1. Elicitazione a Formato Libero: Il VLM target viene sollecitato a elencare gli errori fisici che osserva in un piccolo set di video ($D_{annot}$) tramite linguaggio naturale a formato libero, senza dimensioni predefinite.
2. Clustering: Un LLM raggruppa queste descrizioni raccolte in categorie nominate e definite per formare una tassonomia iniziale ($T_0$).
3. Allineamento del Vocabolario: Poiché $T_0$ è costruito esclusivamente sugli errori che il VLM riporta, le sue dimensioni riflettono il vocabolario percettivo dello stesso VLM. I concetti che il VLM non menziona mai sono assenti dalla tassonomia di partenza.

Stadio 2: Refine (Editing Guidato dalla Diagnosi)

La tassonomia seed viene raffinata attraverso un ciclo iterativo in cui un editor LLM revisiona le dimensioni basandosi su un segnale diagnostico derivato dalle valutazioni umane.

1. Calibrazione: Un calibratore lineare con regolarizzazione ridge mappa i punteggi per dimensione del VLM sui rating di senso comune fisico umano ($y$).
2. Diagnosi: Il calibratore rivela tre tipi di difetti:
   • Informativo (Uninformative): Dimensioni i cui punteggi non correlano con i rating umani ($|\rho_i| < \tau$).
   • Instabile (Unstable): Dimensioni in cui il segno del coefficiente si inverte tra i fold di cross-validazione ($\pi_i < \kappa$).
   • Ridondante (Redundant): Coppie di dimensioni che classificano i video in modo quasi identico ($r_{ij} > \gamma$).
   • Lacune di Copertura (Coverage Gaps): Errori che gli umani hanno penalizzato ma che il VLM ha mancato, identificati analizzando i residui rispetto alle proprie annotazioni a formato libero.
3. Editing: Un editor LLM propone modifiche locali (DROP, REDEFINE, MERGE, ADD, SPLIT) per affrontare questi difetti.
4. Obiettivo di Selezione ($J$): Una tassonomia candidata viene accettata solo se migliora un obiettivo di selezione che premia la qualità del ranking e la specificità (guadagni rispetto a una baseline "halo" che utilizza solo il punteggio medio). Ciò impedisce alla tassonomia di collassare in un singolo punteggio di "scarsa qualità generale".
5. Convergenza: Il ciclo si ripete finché nessun edit migliora $J$. Empiricamente, la convergenza avviene in circa due round.

Contributi Chiave

1. Pipeline JUDGEFIT: Una procedura efficiente in termini di campionamento che scopre tassonomie per ogni VLM. A differenza degli ottimizzatori di ricompensa scalare che richiedono centinaia di iterazioni, JUDGEFIT converge in circa 2 round utilizzando un calibratore lineare come segnale diagnostico piuttosto che come predittore finale.
2. Studio Benchmark Per-VLM: Una valutazione di 16 VLM appartenenti a otto famiglie di modelli (inclusi Qwen, Gemma, GLM, Reka, Gemini, Seed, Nova, MiMo) utilizzando il dataset VideoPhy-2. Lo studio rilascia le tassonomie raffinate e le valutazioni su dati non visti.
3. Analisi Cross-VLM: Una tipologia di convergenza concettuale e bias-per-discriminazione. Gli autori identificano quali concetti sono universalmente leggibili tra i VLM e quali rimangono lacune specifiche del modello, rivelando che gli stili di punteggio (rigidi vs. permissivi) variano indipendentemente dall'accuratezza di allineamento.

Risultati

• Miglioramento delle Prestazioni: La tassonomia raffinata per ogni VLM supera la baseline a schema globale fisso (PhyGenBench) sui video di test per ogni VLM testato.
  • Miglioramento Relativo Medio: Circa il 32% (la correlazione di Spearman è passata da 0.239 a 0.315).
  • Consistenza: I miglioramenti si mantengono attraverso l'intero spettro di capacità, dai giudici più forti (es. Gemini-3-Flash-Thinking) ai più deboli (es. GLM-4.6V).
• Convergenza: La maggior parte dei guadagni di prestazione avviene nel primo round di raffinamento. La procedura è altamente efficiente rispetto ai metodi di ricerca iterativa della ricompensa scalare.
• Generalizzazione: I miglioramenti si trasferiscono dal set di annotazione al set di test disgiunto, indicando che le tassonomie non vanno in overfitting sul set di addestramento di 200 video.
• Profili Specifici del Modello:
  • Copertura Concettuale: Mentre un nucleo di concetti (quantità di moto, traiettoria, rigidità) è quasi universale, i concetti della meccanica dei fluidi (spinta idrostatica, tensione superficiale) formano una coda lunga e scarsamente coperta.
  • Modalità di Pensiero (Thinking Modes): Il beneficio delle varianti "thinking" è specifico del modello piuttosto che sistematico; alcuni modelli migliorano, altri degradano o rimangono invariati.
  • Bias vs. Discriminazione: I giudici si dividono in categorie "rigide" e "permissive" in base alla loro scala di posizionamento, ma questo bias non correla con la loro accuratezza di allineamento (Spearman $\rho$).

Significato e Rivendicazioni

L'articolo sostiene che gli schemi di valutazione debbano essere trattati come proprietà del valutatore, non del benchmark. Fondando la tassonomia nel proprio vocabolario di errori e raffinandola rispetto al giudizio umano, JUDGEFIT espone i punti ciechi specifici di ogni modello che i ranking generali non possono anticipare.

Gli autori sostengono che questo approccio fornisca una comprensione più granulare delle capacità dei VLM:

• Rivela che i VLM "forti in media" non sono uniformemente forti in tutte le regole fisiche.
• Dimostra che i pattern di affidabilità differiscono marcatamente tra le famiglie di modelli.
• Fornisce un framework per scoprire quali regole fisiche un determinato VLM può e non può ancorare al giudizio umano.

Il lavoro suggerisce che passare da rubriche fisse e universali verso tassonomie adattive e per-modello è essenziale per valutare e migliorare accuratamente la coerenza fisica nei modelli generativi di video.