Technische Samenvatting: Beyond Time Shifts: Adapting Omni-LLM as a Reference-Free Evaluator for Generative Audio-Visual Models

1. Probleemstelling

Naarmate audio-visuele (AV) generatieve modellen evolueren naar "wereldsimulatoren", is het evalueren van de consistentie van cross-modale dynamiek cruciaal geworden. Bestaande evaluatiemetrieken kampen echter met een fundamentele mismatch met moderne generatieve outputs:

• Falen van Structurele Aannames: Traditionele metrieken (bijv. onset-gebaseerde synchronisatie, cross-modale contrastieve gelijkenis) gaan ervan uit dat audio en video structureel correct zijn en slechts tijdelijke uitlijning vereisen. Ze falen bij het detecteren van structurele hallucinaties (bijv. een plastic beker die valt en een glasbrekend geluid produceert), asymmetrische relaties (visuele acties zonder bijbehorende audio), en temporeel diffuse gebeurtenissen (continu gieten waarbij de toonhoogte niet overeenkomt met het vloeistofniveau).
• De Annotatieparadox: Het beoordelen van deze complexe fouten vereist menselijke cognitie. Menselijke evaluatoren vertrouwen echter van nature op relatieve vergelijkingen (beoordelen welke van twee gebrekkige outputs beter is), terwijl inzetbare geautomatiseerde metrieken referentie-vrij moeten zijn en een absolute scalaire score voor een enkel gegenereerd paar moeten produceren.
• Beperkingen van Huidige AI-Judges: Bestaande "LLM-as-Judge"-benaderingen vertrouwen vaak op discrete tekstcategorieën of unimodale getrouwheidsmaten, wat kwantiseringsartefacten introduceert en faalt in het vastleggen van de fijnmazige, causale-semantische consistentie die vereist is voor AV-synchronisatie.

2. Methodologie

De auteurs stellen een driefasen-framework voor om de paradox tussen relatieve menselijke perceptie en absolute automatische scoring op te lossen, door een Omni-LLM te transformeren tot een continue, referentie-vrije evaluator.

2.1 SynthSync Dataset

Om de evaluatie te funderen in authentieke generatieve fouten in plaats van kunstmatige tijdverschuivingen, hebben de auteurs SynthSync geconstrueerd:

• Constructie: Real-world videoclips worden verwerkt door 10 state-of-the-art Video-to-Audio (V2A) foundation models om meerdere onderscheidende audiotracks per video te genereren.
• Annotatie: Deskundige annotatoren voeren paarvergelijkingen ($a_i$ vs. $a_j$) uit tegen een vaste visuele anker om te bepalen welke audio beter bij de video past.
• Resultaat: Dit levert een robuuste, globale ordinale rangschikking op basis van empirische winstpercentages, waarbij complexe foutmodi zoals semantische hallucinaties en causale weglatingen worden gevangen.

2.2 Continue Omni-LLM Architectuur

De auteurs passen een Omni-LLM (specifiek Qwen2.5-Omni-3B) aan om discrete token-decodering te omzeilen:

• Latente Projectie: De discrete taal-head wordt vervangen door een continue projectie-head (MLP) die de verborgen representatie van het model van een speciale [SCORE] token direct mapt naar een scalaire waarde $s \in \mathbb{R}$.
• Doelstelling: Dit ontwerp stript de stochasticiteit van taalgeneratie weg, waardoor een volledig differentieerbare mapping ontstaat die geoptimaliseerd is voor relatieve continue schaling.

2.3 Twee-fasen Trainingsparadigma

Het trainingsproces stemt de continue estimator af op menselijke voorkeuren via twee afzonderlijke fasen:

Fase I: Latente Voorkeursafstemming (Curriculum Learning)

• Verliesfunctie: Het model wordt getraind met behulp van de Bradley-Terry-Luce (BTL) formulering om de loss over logit beslissingsgrenzen voor paarvoorkeuren ($a_i \succ_v a_j$) te minimaliseren.
• Curriculum Pacing: Om gradiënt-instorting te voorkomen door de variantie in fouttypen, begint de training met paren met grote rangverschillen (bijv. best vs. worst) en neemt de drempel geleidelijk af om het model bloot te stellen aan fijnere, microscopische vergelijkingen.

Fase II: Causale Topologieën via R-GRPO

• Probleem: Paarwijze leerprocessen zorgen voor lokale marges, maar garanderen geen globale transitiviteit of een coherente scoreverdeling.
• Oplossing: De auteurs introduceren Real-Valued Group Relative Policy Optimization (R-GRPO).
  • Stochastische Reparametrisatie: De deterministische scalaire output wordt behandeld als het gemiddelde ($\mu_\theta$) van een Gaussische policy, wat de noodzakelijke onzekerheid injecteert voor policy gradient optimalisatie.
  • Exploratieve Rollouts: Het model samplet $N$ parallelle executiepaden door scores te verstoren binnen een aangewezen variantie $\sigma^2$.
  • Samengestelde Beloning: Een holistische beloningsfunctie evalueert de volledige listwise distributie tegen de grondwaarheid-topologie, waarbij geoptimaliseerd wordt voor structurele attenuatie, monotone orde en extreme target bounding.
  • Doelstelling: De policy wordt bijgewerkt met een clipped surrogate loss en een KL-divergentie straf om nabijheid tot de referentie-backbone te behouden.

3. Belangrijkste Bijdragen

1. SynthSync: De eerste dataset die gewijd is aan authentieke generatieve synchronisatiefouten, waarbij verder wordt gegaan dan kunstmatige tijdverschuivingsbenchmarks om semantische en causale fouten te vangen.
2. Continue Omni-LLM Evaluator: Een nieuwe architectuur die multimodal foundation models hergebruikt voor continue, referentie-vrije causale consistentie-scoring, waarbij de kwantiseringsbiases van discrete tekstoutputs worden vermeden.
3. R-GRPO Framework: Een schaalbaar reinforcement learning algoritme dat continue latente policies afstemt op discrete menselijke voorkeuren, en hiermee een nieuwe standaard zet voor fysiek gegronde generatieve evaluatie.
4. SyncBench & SOTA Alignment: De vestiging van een gestandaardiseerde benchmark (SyncBench) en de demonstratie van state-of-the-art alignment met menselijke voorkeuren in causale evaluatie.

4. Experimentele Resultaten

• Benchmark Prestaties: Op de SynthSync benchmark bereikt de voorgestelde methode state-of-the-art prestaties in menselijke voorkeursalignment. Het presteert beter dan standaard Omni-LLMs, traditionele non-LLM metrieken (bijv. AV-Align, DeSync) en andere getrainde LLM evaluatoren.
  • Kernmetrieken: Het volledige model (met R-GRPO) bereikt 72,38% Pairwise Accuracy, 61,40% Top-1 Accuracy, en een Kendall's $\tau$ van 0,4899, wat de baselines aanzienlijk overtreft.
• SyncBench Evaluatie: Bij toepassing op de evaluatie van zes cutting-edge AV-Gen modellen (waaronder Sora-2, Veo-3.1 en LTX-2), slaagt de metriek erin prestaties te stratificeren, waarbij het industriële leiders identificeert terwijl traditionele metrieken volatiele en tegenstrijdige rangschikkingen produceren.
• Test-Time Scaling: Wanneer ingezet als beloningssignaal voor Best-of-N (BoN) sampling, demonstreert de metriek superieure cross-metriek generalisatie, waarbij het random selectie en andere reward signalen overtreft in het verbeteren van modelkwaliteit over onafhankelijke evaluatiemetrieken.
• Ablatie Studies:
  • Representatie: Continue scalaire rangschikking presteert significant beter dan scalaire regressie en tekstgebaseerde decodering (CE/KL), wat bevestigt dat het vermijden van discrete tokens de relatieve topologische orde behoudt.
  • Componenten: Incrementele ablatie laat zien dat zowel de SynthSync dataset als de R-GRPO fase cruciaal zijn, waarbij R-GRPO de grootste winst oplevert in rangcorrelatie.
  • Beloningsformulering: Een "Dual Reward" strategie (combinatie van pairwise en listwise restricties) levert optimale resultaten op, waarbij een balans wordt gevonden tussen globale structurele consistentie en lokale vergelijkbare nauwkeurigheid.
  • Exploratie Variantie: Een intermediaire exploratie variantie ($\sigma=2.5$) in de Gaussische policy biedt de beste balans tussen het verkennen van globale topologieën en het behouden van policy stabiliteit.

5. Betekenis en Claims

Het paper beweert een kritieke bottleneck in AV-generatie te hebben opgelost: het gebrek aan metrieken die in staat zijn de complexe fysieke interacties tussen zicht en geluid te begrijpen. Door het evaluatieparadigma te verschuiven van lage-niveau signaalcorrelatie naar visueel gegronde causaliteit, biedt het voorgestelde framework:

• Overbrugt de Mens-Machine Kloof: Het vertaalt succesvol complexe, vergelijkende menselijke oordelen naar een continue, referentie-vrije en globaal consistente geautomatiseerde metriek.
• Maakt Betrouwbare Benchmarking Mogelijk: Het voorziet het vakgebied van een gestandaardiseerde tool (SyncBench) om de fysieke gronding van opkomende wereldsimulatoren te beoordelen, waarbij onderscheid wordt gemaakt tussen modellen die enkel signalen uitlijnen en modellen die causale dynamiek begrijpen.
• Biedt Dubbel Nut: De estimator dient niet alleen als een betrouwbare evaluator, maar ook als een bruikbaar beloningssignaal voor training en test-time scaling, wat de ontwikkeling van fysiek consistentere generatieve modellen bevordert.