Technisches Resümee: Jeder Richter sein eigenes Maß (JUDGEFIT)

Problemstellung

Die Bewertung der physikalischen Konsistenz in Videogeneratoren und Weltmodellen stützt sich zunehmend auf Vision-Language Models (VLMs) als automatisierte Richter. Diese Modelle liefern Belohnungssignale, Ranking-Entscheidungen und Kriterien für die Datenfilterung. Aktuelle Evaluierungsparadigmen wenden jedoch typischerweise eine einheitliche, feste globale Taxonomie (z. B. einen Satz von vier physikalischen Domänen) universell auf alle VLMs an.

Dieser Ansatz geht davon aus, dass alle VLMs dieselben Achsen der physikalischen Evaluierungskompetenz teilen und sich lediglich in der Magnitude ihrer Scores entlang dieser Achsen unterscheiden. Das Paper argumentiert, dass dies fehlerhaft ist, da VLMs durch unterschiedliche Daten und Architekturen trainiert wurden und physikalische Phänomene durch verschiedene interne Repräsentationen kodieren. Infolgedessen führt ein festes Schema häufig zu:

• Inaktiven Dimensionen: Die Scores verschiedener VLMs konzentrieren sich auf eine einzige Achse (z. B. „Mechanik“), während andere Dimensionen nahezu inaktiv bleiben.
• Verlust an Auflösung: Das Schema versäumt es, distinkte Stärken oder blinde Flecken über verschiedene Modellfamilien hinweg aufzuzeigen.
• Fehlender Ausrichtung (Misalignment): VLMs weichen oft erheblich von menschlichen Bewertungen bezüglich des physikalischen Gemeinschaftssinns ab und zeigen Positionsbias sowie Scoring-Instabilität.

Das Kernproblem besteht darin, dass Evaluierungsschemata als Eigenschaften des Benchmarks behandelt werden anstatt als Eigenschaften des Evaluators. Ein VLM sollte entlang jener Dimensionen bewertet werden, die es zuverlässig wahrnehmen und bewerten kann.

Methodik: JUDGEFIT

Die Autoren schlagen JUDGEFIT vor, eine zweistufige „Seed-and-Refine“-Pipeline, die darauf ausgelegt ist, eine pro-VLM-spezifische Evaluierungs-Taxonomie zu entdecken. Das Verfahren behandelt das Evaluierungsschema des Richters als ein optimierbares Objekt, das durch eine kalibrierte Diagnose dessen gesteuert wird, was der spezifische VLM zuverlässig bewerten kann.

Stufe 1: Seed (Offene Annotation & Clustering)

1. Freiform-Elicitierung: Der Ziel-VLM wird angewiesen, physikalische Fehler, die er in einer kleinen Menge von Videos ($D_{annot}$) beobachtet, in freier natürlicher Sprache aufzulisten, ohne vordefinierte Dimensionen.
2. Clustering: Ein LLM clustert diese gesammelten Beschreibungen in benannte, definierte Kategorien, um eine initiale Seed-Taxonomie ($T_0$) zu bilden.
3. Vokabular-Abgleich: Da $T_0$ ausschließlich aus den Fehlern aufgebaut wird, die der VLM meldet, spiegeln seine Dimensionen das eigene perzeptive Vokabular des VLM wider. Konzepte, die der VLM nie erwähnt, fehlen in der Ausgangstaxonomie.

Stufe 2: Refine (Diagnosegestützte Editierung)

Die Seed-Taxonomie wird durch eine iterative Schleife verfeinert, in der ein LLM-Editor die Dimensionen basierend auf einem diagnostischen Signal aus menschlichen Bewertungen überarbeitet.

1. Kalibrierung: Ein Ridge-regularisierter linearer Kalibrator bildet die pro-Dimension-Scores des VLM auf menschliche Physikalitäts-Bewertungen ($y$) ab.
2. Diagnose: Der Kalibrator offenbart drei Arten von Fehlern:
   • Uninformativ: Dimensionen, deren Scores nicht mit menschlichen Bewertungen korrelieren ($|\rho_i| < \tau$).
   • Instabil: Dimensionen, bei denen das Vorzeichen des Koeffizienten über Kreuzvalidierungs-Folds hinweg springt ($\pi_i < \kappa$).
   • Redundant: Paare von Dimensionen, die Videos fast identisch ranken ($r_{ij} > \gamma$).
   • Abdeckungslücken: Fehler, die Menschen bestraft haben, die der VLM jedoch übersehen hat – identifiziert durch die Analyse der Residuen gegenüber den eigenen Freiform-Annotationen des VLM.
3. Editierung: Ein LLM-Editor schlägt lokale Edits (DROP, REDEFINE, MERGE, ADD, SPLIT) vor, um diese Fehler zu beheben.
4. Selektionsziel ($J$): Eine Kandidaten-Taxonomie wird nur akzeptiert, wenn sie ein Selektionsziel verbessert, das sowohl die Ranking-Qualität als auch die Spezifität belohnt (Gewinne gegenüber einer „Halo“-Baseline, die nur den Mittelwert verwendet). Dies verhindert, dass die Taxonomie zu einem einzigen „Gesamt-Schlecht“-Score kollabiert.
5. Konvergenz: Die Schleife wiederholt sich, bis keine Editierung mehr $J$ verbessert. Empirisch erfolgt die Konvergenz innerhalb von etwa zwei Runden.

Zentrale Beiträge

1. JUDGEFIT-Pipeline: Ein probeneffizientes Verfahren zur Entdeckung von pro-VLM-Taxonomien. Im Gegensatz zu skalaren Belohnungs-Optimierern, die hunderte Iterationen erfordern, konvergiert JUDGEFIT in etwa zwei Runden, indem es einen linearen Kalibrator als diagnostisches Signal statt als finalen Prädiktor nutzt.
2. Per-VLM Benchmark-Studie: Eine Evaluierung von 16 VLMs aus acht Modellfamilien (einschließlich Qwen, Gemma, GLM, Reka, Gemini, Seed, Nova, MiMo) unter Verwendung des VideoPhy-2 Datensatzes. Die Studie veröffentlicht verfeinerte Taxonomien und Held-out-Evaluierungen.
3. Cross-VLM-Analyse: Eine Typologie der Konzeptkonvergenz und des Bias-durch-Diskriminierung. Die Autoren identifizieren, welche Physik-Konzepte universell lesbar sind und welche modellspezifische blinde Flecken bleiben, was zeigt, dass Scoring-Stile (streng vs. nachsichtig) unabhängig von der Alignment-Genauigkeit variieren.

Ergebnisse

• Leistungssteigerung: Die verfeinerte pro-VLM-Taxonomie übertrifft die feste globale-Schema-Baseline (PhyGenBench) bei Held-out-Videos für jedes getestete VLM.
  • Mittlere relative Verbesserung: Ungefähr 32 % (der Spearman-Koeffizient stieg von 0,239 auf 0,315).
  • Konsistenz: Die Verbesserungen halten über das gesamte Fähigkeitsspektrum hinweg stand, von den stärksten Judges (z. B. Gemini-3-Flash-Thinking) bis zu den schwächsten (z. B. GLM-4.6V).
• Konvergenz: Die meisten Leistungsgewinne treten in der ersten Verfeinerungsrunde auf. Das Verfahren ist hochgradig effizient im Vergleich zu iterativen skalaren Belohnungssuchen.
• Generalisierung: Die Verbesserungen übertragen sich vom Annotationssatz auf den disjunkten Testsatz, was zeigt, dass die Taxonomien nicht den 200-Video-Trainingssatz überanpassen.
• Modellspezifische Profile:
  • Konzeptabdeckung: Während ein Kernsatz an Konzepten (Impuls, Trajektorie, Rigidität) nahezu universell ist, bildet die Fluiddynamik (Auftrieb, Oberflächenspannung) einen spärlich abgedeckten „Long Tail“.
  • Denkmodi: Der Nutzen von „Thinking“-Varianten ist modellspezifisch und nicht systematisch; einige Modelle verbessern sich, während andere degradieren oder unverändert bleiben.
  • Bias vs. Diskriminierung: Die Judges teilen sich in „strenge“ und „nachsichtige“ Kategorien basierend auf ihrer Skalenplatzierung ein, aber dieser Bias korreliert nicht mit ihrer Alignment-Genauigkeit (Spearman $\rho$).

Bedeutung und Ansprüche

Das Paper behauptet, dass Evaluierungsschemata als Eigenschaften des Evaluators behandelt werden sollten, nicht als Eigenschaften des Benchmarks. Indem JUDGEFIT die Taxonomie im eigenen Fehler-Vokabular des Judges verankert und gegen menschliche Urteile verfeinert, legt es modellspezifische blinde Flecken offen, die allgemeine Rankings nicht antizipieren können.

Die Autoren argumentieren, dass dieser Ansatz ein granulareres Verständnis der VLM-Fähigkeiten ermöglicht:

• Er zeigt auf, dass „im Durchschnitt starke“ VLMs nicht einheitlich stark über alle physikalischen Regeln hinweg sind.
• Er demonstrit, dass Zuverlässigkeitsmuster sich zwischen Modellfamilien deutlich unterscheiden.
• Er bietet einen Rahmen, um zu entdecken, welche physikalischen Regeln ein spezifisches VLM und welche es nicht in der Lage ist, mit menschlichem Urteil zu verknüpfen.

Die Arbeit legt nahe, dass die Abkehr von festen „One-Size-Fits-All“-Rubriken hin zu adaptiven, pro-Modell-spezifischen Taxonomien essenziell ist, um die physikalische Konsistenz in generativen Videomodellen präzise zu bewerten und zu verbessern.