A Cross-Model VLM-Judge Protocol for Single-Image 3D Mesh Quality (and Why Cheap Proxies Fall Short)

Sintesi Tecnica: Un Protocollo di Valutazione Cross-Model VLM-Judge per la Qualità di Mesh 3D da Immagine Singola

Problema
I generatori di mesh 3D da immagine singola stanno migliorando rapidamente, eppure il campo manca di un metodo concordato, privo di intervento umano, per determinare se una mesh generata sia superiore a un'altra. I professionisti si affidano attualmente a proxy automatici "economici", nello specifico la similarità CLIP nello spazio di rendering e statistiche di validità geometrica della mesh (ad esempio, watertightness, manifoldness, coerenza delle normali). Tuttavia, non è ancora stabilito quanto bene questi proxy seguano la qualità percepita della mesh — la metrica che conta per gli utenti finali, i classificatori e i segnali di addestramento. Il problema centrale è determinare se questi metriche a basso costo possano servire come sostituti affidabili di una valutazione di alta fedeltà.

Metodologia
Gli autori propongono e validano un protocolo di valutazione riproducibile centrato su un giudice basato su Vision-Language Model (VLM), progettato per fungere da riferimento oracle.

• Protocollo di Valutazione:

  • Input: Un rig di rendering headless a 24 viste viene applicato a mesh normalizzate generate da immagini singole.
  • Giudici: Sono impiegate due indipendenti famiglie di VLM open: un giudice "oracle" (Qwen2.5-VL-7B-Instruct) e un separato giudice di validazione (InternVL3-8B). L'uso di due modelli distinti permette controlli di accordo cross-model piuttosto che affidarsi al bias di un singolo modello.
  • Correzione del Position-Bias: Riconoscendo che i VLM mostrano un bias di presentazione dell'ordine, il protocollo interroga ogni coppia in entrambi gli ordini (A vs B e B vs A). I verdetti vengono mantenuti solo se coerenti attraverso lo scambio; i verdetti incoerenti vengono scartati. Questa correzione è critica, poiché i verdetti grezzi mostravano una incoerenza del ~26%.
  • Proxy Testati: Il protocollo valuta quattro strategie di proxy rispetto al giudice di validazione indipendente:
    1. Punteggio basato solo sulla geometria (basato su watertightness, manifoldness, non-auto-intersezione, coerenza delle normali).
    2. Punteggio di similarità Render-CLIP.
    3. Un composito a peso fisso dei precedenti.
    4. Una testa di Bradley–Terry appresa (regressione logistica) addestrata sui label del giudice oracle per pesare le cinque feature.

• Setup Sperimentale:

  • Dati: 60 oggetti da Google Scanned Objects.
  • Generatori: Due generatori feed-forward (Stable Fast 3D e TripoSR) più una variante degradata "face-drop" di ciascuno, creando uno spettro di qualità.
  • Split: Split rigorosi a livello di oggetto assicurano che nessun oggetto si trovi tra train e test set. La testa appresa viene addestrata su un sottoinsieme e valutata su coppie tenute fuori (held-out) contro il giudice di validazione.
  • Statistiche: L'accordo è misurato usando proporzioni con intervalli di confidenza di Wilson 95% e Cohen's $\kappa$ rispetto a un baseline di accordo casuale (0.5). Si utilizza il cluster bootstrapping per tenere conto del clustering a livello di oggetto.

Contributi Chiave

1. Protocollo VLM-Judge Validato: Gli autori stabiliscono un framework di valutazione riproducibile e privo di umani, caratterizzato da un rig di rendering fisso, due giudici indipendenti e una correzione obbligatoria del position-bias. Le due famiglie di giudici raggiungono un accordo sostanziale ($\kappa=0.66$, accordo grezzo 0.83), significativamente sopra il piano di base del caso.
2. Quantificazione del Position Bias: Lo studio dimosta che il position bias è un importante modo di fallimento, con il ~26% dei verdetti grezzi che cambia in base all'ordine di presentazione. La correzione di questo bias si dimostra essenziale, portando le stime di accordo da livelli triviali (es. 0.333) a livelli sostanziali (0.714).
3. Fallimento dei Proxy Economici: Utilizzando il giudice VLM come verità fondamentale (ground truth), il paper dimostra che i proxy economici non sostituiscono il giudice:
   • Validità Geometrica: Sebbene significativamente sopra il caso (0.62), rimane debole e cade sotto il target pre-registrato ($\approx \ge 0.75$).
   • Render-CLIP: Si comporta ai livelli del caso (0.48), non portando alcun segnale di qualità utilizzabile.
   • Pesi Appresi: Una testa di Bradley–Terry appresa collassa su una singola statistica di manifoldness (assegnando un peso negativo a render-CLIP), risultando in un ranking identico al punteggio basato solo sulla geometria. L'apprendimento dei pesi delle feature non fornisce alcun beneficio aggiuntivo.
4. Comportamento Bimodale dei Proxy: L'analisi dei sottogruppi rivela che i proxy sono bimodali. Essi performano significativamente sopra il caso solo su contrasti con difetti geometrici visibili (ad esempio, confronti tra generatori o buchi evidenti) ma scendono ai livelli del caso su chiamate di qualità ambigue. Ciò suggerisce che i proxy tracciano il giudice solo quando i difetti sono visivamente salienti.

Risultati

• Affidabilità: L'accordo cross-model tra i due giudici VLM è robusto (accordo 0.83, $\kappa=0.66$), confermando l'affidabilità del protocollo come riferimento.
• Performance dei Proxy:
  • Geometria: 0.62 di accordo sul corpus completo (95% CI [0.56, 0.68]).
  • Render-CLIP: 0.48 di accordo (95% CI [0.42, 0.54]), indistinguibile dal caso.
  • Testa Appresa: Corrisponde esattamente alla geometria-only (0.52 sui dati held-out), indicando che il set di feature limita le performance piuttosto che l'architettura del modello.
• Analisi dei Sottogruppi: La validità geometrica raggiunge un accordo di 0.91 sui contrasti tra generatori e 0.80 sulla degradazione interna di TripoSR (dove i difetti sono buchi visibili). Tuttavia, scende a 0.53 sui casi misti tra generatori (casi ambigui). Render-CLIP rimane debole in tutti i sottogruppi (0.37–0.70).

Significatività e Claim
Il paper sostiene che, per le specifiche condizioni testate (due generatori feed-forward su Google Scanned Objects con un regime di degradazione face-drop), il proposto protocollo VLM-judge cross-model e corretto per il position-bias è un valutatore affidabile e riproducibile privo di umani.

Al contrario, gli autori sconsigliano l'uso di proxy di validità geometrica o Render-CLIP come target di ottimizzazione o segnali di ricompensa. Questi proxy non sono solo segnali deboli, ma sono "deceptively good" (ingannevolmente buoni) sui contrasti con difetti visibili, pur fallendo sulle comparazioni ambigue che sono critiche per il ranking o l'ottimizzazione di singoli modelli. Gli autori suggeriscono che la specializzazione basata su reward debba essere guidata direttamente dalle preferenze del de-biased VLM-judge piuttosto che da proxy che un generatore potrebbe soddisfare (ad esempio, massimizzando la manifoldness) senza effettivamente migliorare la qualità percepita.

Limitazioni
Gli autori notano che il giudice VLM è trattato come l'oracle, sebbene lo mitigano richiedendo l'accordo cross-model. Lo studio è limitato a un regime ristretto (due generatori, un dataset, un tipo specifico di degradazione) e non copre fallimenti naturalistici come strutture sottili o trasparenza. Inoltre, il sottogruppo "within-Stable Fast 3D" è stato confuso perché il face-dropping su shell aperte era appena visibile, rendendo i verdetti dello stesso giudice ambigui in quella specifica cella.