Technische Samenvatting: Elk Oordeel een Eigen Meetlat (JUDGEFIT)

Probleemstelling

De evaluatie van fysieke consistentie in video-generatoren en wereldmodellen leunt steeds vaker op Vision-Language Models (VLM's) als geautomatiseerde beoordelaars. Deze modellen leveren beloningssignalen, rangschikkingsbeslissingen en criteria voor datafiltering. De huidige evaluatieparadigma's passen echter doorgaans een enkele, vaste globale taxonomie (bijv. een set van vier fysieke domeinen) uniform toe op alle VLM's.

Deze aanpak gaat ervan uit dat alle VLM's dezelfde assen van fysieke evaluatiebekwaamheid delen en alleen verschillen in de grootte van hun scores langs die assen. Het artikel betoogt dat dit gebrekkig is, omdat VLM's, getraind op verschillende data en architecturen, fysieke verschijnselen coderen via verschillende interne representaties. Dit leidt consequent tot een vast schema dat zorgt voor:

• Inactieve dimensies: Scores van verschillende VLM's concentreren zich op een enkele as (bijv. "mechanica"), terwijl andere dimensies bijna inactief blijven.
• Verlies van resolutie: Het schema slaagt er niet in om onderscheidende sterktes of blinde vlekken tussen verschillende modelfamilies te onthullen.
• Mismatch: VLM's wijken vaak substantieel af van menselijke beoordelaars wat betreft fysiek gezond verstand, waarbij ze last hebben van positiebias en score-instabiliteit.

Het kernprobleof is dat evaluatieschema's worden behandeld als eigenschappen van de benchmark in plaats van eigenschappen van de beoordelaar. Een VLM zou beoordeeld moeten worden langs dimensies die hij betrouwbaar kan waarnemen en scoren.

Methodologie: JUDGEFIT

De auteurs stellen JUDGEFIT voor, een tweefasige "seed-and-refine"-pipeline die ontworpen is om een per-VLM evaluatie-taxonomie te ontdekken. De procedure behandelt het evaluatieschema van de beoordelaar als een optimaliseerbaar object, gedreven door een gekalibreerde diagnose van wat de specifieke VLM betrouwbaar kan scoren.

Fase 1: Seed (Open Annotatie & Clustering)

1. Vrije Elicitatie: De doel-VLM wordt geprompt om fysieke fouten die hij observeert in een kleine set video's ($D_{annot}$) te vermelden met behulp van vrije natuurlijke taal, zonder vooraf gedefinieerde dimensies.
2. Clustering: Een LLM clustert deze verzamelde beschrijvingen in benoemde, gedefinieerde categorieën om een initiële seed-taxonomie ($T_0$) te vormen.
3. Vocabulaire Afstemming: Omdat $T_0$ uitsluitend is opgebouwd uit fouten die de VLM rapporteert, weerspiegelen de dimensies de eigen perceptuele woordenschat van de VLM. Concepten die de VLM nooit noemt, zijn afwezig in de start-taxonomie.

Fase 2: Refine (Diagnose-gestuurde Bewerking)

De seed-taxonomie wordt verfijnd via een iteratieve lus waarin een LLM-editor de dimensies herziet op basis van een diagnostisch signaal afgeleid van menselijke beoordelingen.

1. Kalibratie: Een ridge-geregulariseerde lineaire kalibrator brengt de per-dimensie scores van de VLM in kaart naar menselijke fysieke common sense-beoordelingen ($y$).
2. Diagnose: De kalibrator onthult drie soorten defecten:
   • Oninformatief: Dimensies waarvan de scores niet correleren met menselijke beoordelingen ($|\rho_i| < \tau$).
   • Instabiel: Dimensies waarbij het teken van de coëfficiënt omdraait over cross-validatie-folds heen ($\pi_i < \kappa$).
   • Redundant: Paren dimensies die video's bijna identiek rangschikken ($r_{ij} > \gamma$).
   • Dekkingsverschillen: Fouten die mensen bestraften maar die de VLM miste, geïdentificeerd door de residuen te analyseren tegenover de vrije annotaties van de VLM zelf.
3. Bewerking: Een LLM-editor stelt lokale bewerkingen voor (DROP, REDEFINE, MERGE, ADD, SPLIT) om deze defecten aan te pakken.
4. Selectie-objectief ($J$): Een kandidaat-taxonomie wordt alleen geaccepteerd als deze een selectie-objectief verbetert dat zowel kwaliteit van rangschikking als specificiteit beloont (winst ten opzichte van een "halo"-baseline die alleen de gemiddelde score gebruikt). Dit voorkomt dat de taxonomie inklapt tot één enkele "algemene slechtheid"-score.
5. Convergentie: De lus herhaalt zich totdat geen enkele bewerking $J$ verbetert. Empirisch gezien vindt convergentie plaats binnen ongeveer twee rondes.

Belangrijkste Bijdragen

1. JUDGEFIT Pipeline: Een efficiënte procedure voor het ontdekken van per-VLM taxonomieën. In tegen tegenstelling tot scalaire-beloningsoptimizers die honderden iteraties vereisen, convergeert JUDGEFIT in ~2 rondes door een lineaire kalibrator te gebruiken als diagnostisch signaal in plaats van een definitieve voorspeller.
2. Per-VLM Benchmark Studie: Een evaluatie van 16 VLM's uit acht modelfamilies (inclusief Qwen, Gemma, GLM, Reka, Gemini, Seed, Nova, MiMo) met behulp van de VideoPhy-2 dataset. De studie publiceert verfijnde taxonomieën en helden-evaluaties.
3. Cross-VLM Analyse: Een typologie van conceptconvergentie en bias-door-discriminatie. De auteurs identificeren welke fysica-concepten universeel begrijpelijk zijn over VLM's heen en welke model-specifieke blinde vlekken blijven, wat onthult dat scoringsstijlen (streng vs. mild) onafhankelijk variëren van de alignment-nauwkeurigheid.

Resultaten

• Prestatieverbetering: De verfijnde per-VLM taxonomie presteert beter dan de vaste globale-schema baseline (PhyGenBench) op helden-video's voor elke geteste VLM.
  • Gemiddelde Relatieve Verbetering: Ongeveer 32% (Spearman correlatie steeg van 0.239 naar 0.315).
  • Consistentie: Verbeteringen houden stand over het volledige capaciteitenspectrum, van de sterkste beoordelaars (bijv. Gemini-3-Flash-Thinking) tot de zwakste (bijv. GLM-4.6V).
• Convergentie: De meeste prestatiewinsten treden op in de eerste verfijningsronde. De procedure is zeer efficiënt vergeleken met iteratieve scalaire-beloningszoekmethoden.
• Generalisatie: De verbeteringen zijn overdraagbaar van de annotatieset naar de uiteenlopende testset, wat aangeeft dat de taxonomieën niet overfitten op de 200-video trainingsset.
• Model-specifieke Profielen:
  • Conceptdekking: Terwijl een kernset van concepten (impuls, traject, stijfheid) bijna universeel is, vormt de fluid mechanics-concepten (drijfvermogen, oppervlaktespanning) een dun bezette "long tail".
  • Denkmodi: Het voordeel van "thinking" varianten is model-specifiek in plaats van systematisch; sommige modellen verbeteren, terwijl andere verslechteren of onveranderd blijven.
  • Bias vs. Discriminatie: Beoordelaars splitsen zich in "strenge" en "milde" categorieën op basis van hun schaalplaatsing, maar deze bias correleert niet met hun alignment-nauwkeurigheid (Spearman $\rho$).

Betekenis en Claims

Het artikel beweert dat evaluatieschema's moeten worden behandeld als eigenschappen van de beoordelaar, niet van de benchmark. Door de taxonomie te funderen in de eigen fouten-woordenschat van de beoordelaar en deze te verfijnen tegen menselijke beoordeling, legt JUDGEFIT model-specifieke blinde vlekken bloot die algemene rangschikkingen niet kunnen voorzien.

De auteurs stellen dat deze aanpak een meer genuanceerd begrip oplevert van de capaciteiten van VLM's:

• Het onthult dat "gemiddeld sterke" VLM's niet uniform sterk zijn over alle fysieke regels.
• Het toont aan dat betrouwbaarheidspatronen merkbaar verschillen tussen modelfamilies.
• Het biedt een raamwerk voor het ontdekken van welke fysieke regels een specifieke VLM wel en niet kan koppelen aan menselijk oordeel.

Het werk suggereert dat het afstappen van vaste, "one-size-fits-all" rubrieken naar adaptieve, per-model taxonomieën essentieel is voor het accuraat evalueren en verbeteren van fysieke consistentie in generatieve video-modellen.