Judging to Improve: A De-biased VLM-as-3D-Judge Protocol for Single-Image 3D Generation

Technische Samenvatting: Oordelen om te Verbeteren: Een De-biased VLM-als-3D-Judge Protocol voor Single-Image 3D Generatie

Probleemstelling

Het artikel adresseert de uitdaging om een sterke, open-source single-image-to-3D generator (TRELLIS) te specialiseren voor een specifieke asset-klasse (meubelen) zonder menselijke labels. Terwijl een begeleidende studie vaststelde dat label-vrije 3D-specialisatie een de-biased Vision-Language Model (VLM) judge vereist in plaats van goedkope geometrie- of CLIP-proxies, onderzoekt dit werk of de voorkeuren van een dergelijke judge gebruikt kunnen worden als een trainingssignaal om de generator te optimaliseren. De kernmoeilijkheid ligt in het vermijden van circulariteit: het optimaliseren van een generator tegen een specifieke judge en deze vervolgens evalueren met dezelfde judge leidt vaak ertoe dat het model de eigenaardigheden van de judge leert in plaats van werkelijke kwaliteitsverbeteringen. Bovendien merken de auteurs op dat onafhankelijke samples van een sterk basismodel vaak geen leerbaar voorkeurssignaal bevatten, wat de constructie van een geldige trainingsdoelstelling niet-trivial maakt.

Methodologie

Het onderzoek is gestructureerd rond twee primaire componenten: een verhard evaluatieprotocol en een specialisatiestudie.

1. Het Optimalisatie-waardige De-biased VLM-als-3D-Judge Protocol
Om betrouwbare resultaten in een optimalisatielus te garanderen, breiden de auteurs het begeleidende rankingprotocol uit met drie cruciale verhardingsmaatregelen:

• Cross-Model Onafhankelijkheid: De trainingsjudge (Qwen2.5-VL-7B) en de evaluatiejudge (InternVL3-8B) zijn strikt verschillende modellen. Dit voorkomt dat de generator overfit op de specifieke biases van een enkele modelfamilie.
• Position-Bias Correctie: Voor elke paarvergelijking wordt de judge in beide volgordes bevraagd (A vs. B en B vs. A). Verdicten worden alleen behouden als ze consistent zijn na de wisseling; inconsistente verdicts worden weggegooid als position-biased.
• Mitigatie van Failure Modes: Het protocol adresseert drie specifieke failure modes die pas aan het licht komen wanneer een VLM in een optimalisatielus wordt gepusht:
  • Image Overload: Het tonen van meerdere weergaven (bijv. 7 afbeeldingen) zorgt ervoor dat de judge antwoordt op basis van positie in plaats van kwaliteit. Fix: Gebruik een strikte configuratie van twee afbeeldingen per vergelijking.
  • Splat-Hidden Geometry: Gaussian-splat renders kunnen geometrische defecten maskeren. Fix: Render mesh normal-map weergaven als een 2x2 montage om gaten en ontbrekende delen onmiskenbaar te maken.
  • Reference-Free "Clean-but-Wrong": Zonder referentie kunnen judges de voorkeur geven aan schone maar incorrecte outputs. Fix: Vertrouw op duidelijke kwaliteit-gap kalibratie en montage-dekking om te verzekeren dat de judge echte kwaliteit volgt.

2. Specialisatiestudie
Gebruikmakend van het verharde protocol als onafhankelijke evaluator, testten de auteurs zes adaptatiemethoden op TRELLIS met enkel publieke data en lightweight parameter-efficient fine-tuning (PEFT):

• Methoden: SFT-on-best, DPO (bij $\beta=0.1$ en $\beta=0.5$), ORPO, SFT-on-clean, en een Conditioner-repair adapter (het trainen van een residual adapter op DINOv2 features om gedegradeerde inputs naar schone features te mappen).
• Regimes: "Clean" (in-distribution 3D-Furniture renders) en "Hard-degraded" (synthetische crops, occlusie, downscaling en blur).
• Signaal Engineering: Omdat onafhankelijke samples van het basismodel een 0.94 order-flip rate vertoonden (geen leerbaar signaal), hebben de auteurs een voorkeurssignaal geconstrueerd door high-budget samples (25 stappen) te koppelen aan doelbewust gedegradeerde low-quality samples (2 stappen).

Belangrijkste Resultaten

De studie vond dat lightweight adaptatie op publieke data overeenkomt met de sterke basis, maar deze niet overtreft.

• Voorkeurssignaal: Onafhankelijke samples van het basismodel dragen geen leerbare voorkeur (0.94 flip rate), terwijl contrastieve constructie (high-quality vs. degraded) een sterk signaal oplevert (0.89 win-rate voor de high-budget sample).
• Prestaties: Over zes methoden, twee input-regimes en een severity sweep, bereikte geen enkele methode de doelstelling van een win-rate van $\geq 0.65$ tegenover de basis.
  • Clean Regime: Alle methoden resulteerden in een win-rate van 0.00. Het basismodel is al verzadigd op in-distribution data.
  • Hard Regime: De meeste methoden (SFT, DPO, ORPO) resulteerden ook in een win-rate van 0.00.
  • Conditioner Repair: Dit was de enige methode die een monotone trend vertoonde met de degradatie-ernst. Het bereikte een win-rate van 0.125 (mild), 0.25 (medium) en 0.50 (severe), waarmee het gelijkwaardigheid bereikte met de basis onder zware degradatie, maar er niet bovenuit kwam.
• Mechanistische Analyse:
  • Saturation: Clean inputs zitten al op de limiet van het onderscheidingsvermogen van de judge voor het basismodel.
  • Sampler Wash-out: Fine-tuning van de flow-DIT (latent transformer) convergeert wiskundig, maar de updates "wassen uit" via de rectified-flow sampler, wat resulteert in nul geometrische verandering ($\Delta = 0$).
  • Conditioner Bottleneck: De image conditioning (DINOv2 features) is de plek waar de kwaliteit bij gedegradeerde inputs wordt beperkt. Het repareren van deze features verplaatst de geometrie, maar slechts genoeg om gelijkwaardigheid te bereiken, niet om de basis te overtreffen.

Betekenis en Claims

De primaire bijdrage van het artikel is protocol-gericht, niet model-gericht. De auteurs stellen dat het "optimization-grade de-biased VLM-als-3D-judge protocol" het herbruikbare artefact is. Het biedt een betrouwbaar, mens-vrij evaluatiekader dat specifieke failure modes blootlegt (image overload, splat-hidden geometry) en cross-model generalisatie waarborgt.

Wat de specialisatiestudies betreft, maakt het artikel een bescheiden claim: het matchen van een sterke publieke-data basis met goedkope in-domain adaptatie is op zichzelf een informatief resultaat. De bevinding dat lightweight PEFT op publieke data gelijkwaardigheid bereikt maar de basis niet overtreft, suggereert dat:

1. Het basismodel al veel van de publiekelijk beschikbare meubel-distributie heeft gevangen.
2. Het overtreffen van de basis waarschijnlijk meer vereist dan alleen lightweight adaptatie op publieke data (bijv. gelicentieerde data, grotere adapters of full fine-tuning).
3. De "gap-sensitivity" die de judge betrouwbaar maakt, onthult ook dat er geen "goedkope ruimte" voor verbetering is op de basis onder de huidige beperkingen.

Het werk sluit de cirkel van de begeleidende studie: hoewel een de-biased judge noodzakelijk is om 3D-generatie te evalueren, geeft dezelfde gevoeligheid die de judge betrouwbaar maakt ook aan dat sterke open bases moeilijk te verbeteren zijn zonder significante middelen of data buiten het publieke domein.