A Cross-Model VLM-Judge Protocol for Single-Image 3D Mesh Quality (and Why Cheap Proxies Fall Short)

Technische Samenvatting: Een Cross-Model VLM-Judge Protocol voor Kwaliteit van Single-Image 3D Meshes

Probleemstelling
Generatoren van single-image-to-3D verbeteren snel, maar het vakgebied mist een overeengekomen, mens-vrije methode om te bepalen of één gegenereerd mesh superieur is aan een ander. Praktijkgebruikers vertrouwen momenteel op "goedkope" automatische proxies, specifiek render-ruimte CLIP-gelijkenis en statistieken voor geometrische geldigheid van het mesh (bijv. waterdichtheid, manifoldness, normaal-consistentie). Het blijft echter onvastgesteld hoe goed deze proxies de waargenomen mesh-kwaliteit volgen—de metriek die ertoe doet voor downstream-gebruikers, rankers en trainingssignalen. Het kernprobleem is het bepalen of deze goedkope metrieken kunnen dienen als betrouwbare substituten voor een hoogwaardige kwaliteitsbeoordeling.

Methodologie
De auteurs stellen en valideren een reproduceerbaar evaluatieprotocol dat gecentreerd is rond een Vision-Language Model (VLM) judge, ontworpen om te dienen als een referentie-oracle.

• Evaluatieprotocol:

  • Input: Een vaste 24-view headless render rig wordt toegepast op genormaliseerde meshes gegenereerd uit enkele afbeeldingen.
  • Judges: Twee onafhankelijke open VLM-families worden ingezet: een "oracle" judge (Qwen2.5-VL-7B-Instruct) en een aparte validatie-judge (InternVL3-8B). Het gebruik van twee verschillende modellen maakt cross-model overeenkomstcontroles mogelijk in plaats van te vertrouwen op de bias van een enkel model.
  • Correctie van Positie-bias: In het besef dat VLMs een presentatievolgorde-bias vertonen, bevraagt het protocol elk paar in beide volgordes (A vs. B en B vs. A). Verdicten worden alleen behouden als ze consistent zijn na de wisseling; inconsistente verdicten worden verworpen. Deze correctie is cruciaal, aangezien ruwe verdicten ~26% inconsistentie vertoonden.
  • Geteste Proxies: Het protocol evalueert vier proxy-strategieën tegen de onafhankelijke validatie-judge:
    1. Alleen geometrie-score (gebaseerd op waterdichtheid, manifoldness, niet-zelfintersectie, normaal-consistentie).
    2. Render-CLIP gelijkenis-score.
    3. Een composiet met vaste gewichten van het bovenstaande.
    4. Een geleerde Bradley–Terry head (logistische regressie) getraind op de labels van de oracle judge om de vijf kenmerken te wegen.

• Experimentele Opzet:

  • Data: 60 objecten uit Google Scanned Objects.
  • Generatoren: Twee feed-forward generatoren (Stable Fast 3D en TripoSR) plus een "face-drop" gedegradeerde variant van elk, wat een spectrum van kwaliteit creëert.
  • Splits: Strikte object-niveau splits zorgen ervoor dat geen enkel object tussen train/test-sets valt. De geleerde head wordt getraind op een subset en geëvalueerd op uitgespaarde paren tegen de validatie-judge.
  • Statistiek: Overeenkomst wordt gemeten met proporties met Wilson 95% betrouwbaarheidsintervallen en Cohen's $\kappa$ tegen een kans-overeenkomst baseline (0.5). Cluster bootstrapping wordt gebruikt om rekening te houden met object-niveau clustering.

Belangrijkste Bijdragen

1. Gevalideerd VLM-Judge Protocol: De auteurs vestigen een reproduceerbaar, mens-vrij evaluatiekader bestaande uit een vaste render rig, duale onafhankelijke judges en verplichte positie-bias correctie. De twee judge-families bereiken een substantiële overeenkomst ($\kappa=0.66$, ruwe overeenkomst 0.83), aanzienlijk boven de kans-vloer.
2. Kwantificering van Positie-bias: De studie toont aan dat positie-bias een belangrijke foutmodus is, waarbij ~26% van de ruwe verdicten flipt op basis van de presentatievolgorde. Het corrigeren van deze bias is essentieel gebleken, waarbij overeenkomst-schattingen van triviale niveaus (bijv. 0.333) naar substantiële niveaus (0.714) worden gebracht.
3. Falen van Goedkope Proxies: Met de VLM-judge als de grondwaarheid (ground truth), demonstreert het paper dat goedkope proxies de judge niet vervangen:
   • Geometrische Geldigheid: Hoewel significant boven kans (0.62), blijft het zwak en valt het onder de vooraf geregistreerde doelstelling ($\approx \ge 0.75$).
   • Render-CLIP: Presteert op kans-niveaus (0.48), en draagt geen bruikbaar kwaliteitssignaal bij.
   • Geleerde Weights: Een geleerde Bradley–Terry head stort in op een enkele manifoldness-statistiek (geeft een negatief gewicht aan render-CLIP), wat resulteert in een ranking die identiek is aan de geometrie-alleen score. Het leren van feature-gewichten biedt geen extra voordeel.
4. Bimodale Proxy-gedraging: Subgroepanalyse onthult dat proxies bimodaal zijn. Ze presteren significant boven kans op contrasten met zichtbare geometrische defecten (bijv. cross-generator vergelijkingen of duidelijke gaten) maar vallen terug naar kans-niveaus bij ambigue kwaliteitsbeslissingen. Dit suggereert dat proxies de judge alleen volgen wanneer defecten visueel prominent zijn.

Resultaten

• Betrouwbaarheid: De cross-model overeenkomst tussen de twee VLM-judges is robuust (0.83 overeenkomst, $\kappa=0.66$), wat de betrouwbaarheid van het protocol als referentie bevestigt.
• Proxy Prestaties:
  • Geometrie: 0.62 overeenkomst op het volledige corpus (95% CI [0.56, 0.68]).
  • Render-CLIP: 0.48 overeenkomst (95% CI [0.42, 0.54]), ononderscheidbaar van kans.
  • Geleerde Head: Komt exact overeen met de geometrie-alleen variant (0.52 op held-out data), wat aangeeft dat de feature-set de prestatie beperkt in plaats van de modelarchitectuur.
• Subgroep Analyse: Geometrische geldigheid bereikt 0.91 overeenkomst op cross-generator contrasten en 0.80 op binnen-TripoSR degradatie (waar defecten zichtbare gaten zijn). Echter, het daalt naar 0.53 op cross-generator-gemengde paren (ambigue gevallen). Render-CLIP blijft zwak over alle subgroepen (0.37–0.70).

Significantie en Claims
Het paper claimt dat voor de specifieke condities die getest zijn (twee feed-forward generatoren op Google Scanned Objects met een face-drop degradatie regime), het voorgestelde cross-model, position-bias-corrected VLM-judge protocol een betrouwbare en reproduceerbare mens-vrije evaluator is.

Omgekeerd adviseren de auteurs tegen het gebruik van geometrische geldigheid of render-CLIP proxies als optimalisatie-targets of reward-signalen. Deze proxies zijn niet alleen zwakke signalen, maar zijn ook "misleidend goed" op contrasten met zichtbare defecten, terwijl ze falen op de ambigue vergelijkingen die cruciaal zijn voor het ranken of optimaliseren van single modellen. De auteurs suggereren dat reward-gebaseerde specialisatie direct gedreven moet worden door de de-biased VLM-judge voorkeuren, in plaats van door proxies die een generator kan bevredigen (bijv. door manifoldness te maximaliseren) zonder de waargenomen kwaliteit daadwerkelijk te verbeteren.

Beperkingen
De auteurs merken op dat de VLM-judge als het oracle wordt behandeld, hoewel zij dit verzachten door cross-model overeenkomst te vereisen. De studie is beperkt tot een nauw regime (twee generatoren, één dataset, specifiek degradatietype) en dekt geen natuurlijke fouten zoals dunne structuren of transparantie. Daarnaast was de "binnen-Stable Fast 3D" subgroep geconfundeerd omdat face-dropping op open shells nauwelijks zichtbaar was, waardoor de eigen verdict van de judge ambigu werd in die specifieke cel.