Sintesi Tecnica: Collasso Geometrico: Quando i Modelli di Vision Falliscono nella Verifica della Causalità Fisica

1. Definizione del Problema

I recenti progressi nell'apprendimento auto-supervisionato (SSL) su larga scala e nei Vision Transformer (ViT) hanno migliorato significativamente l'accuratezza dei compiti di predizione geometrica densa, come la stima della profondità monoculare e la predizione delle normali di superficie. Tuttavia, un'elevata accuratezza media sui benchmark standard non garantisce che i modelli possiedano la capacità di verificare la plausibilità fisica durante l'inferenza.

Il problema centrale affrontato è se i moderni predittori densi possano distinguere tra segnali di bordo visivamente salienti che corrispondono a strutture 3D valide (ad es., bordi di oggetti, contorni di occlusione) e quelli che sono fisicamente non supportati (ad es., riflessi, artefatti di illuminazione o gradienti spurii). Gli autori ipotizzano che gli attuali modelli possano trattare qualsiasi segnale forte simile a un bordo come evidenza geometrica, senza verificare se esso ammetta una spiegazione fisica plausibile. Ciò conduce a un modo di fallimento denominato Collasso Geometrico, in cui bordi localmente non supportati innescano allucinazioni globali e inconsistenze strutturali che si propagano attraverso l'intera scena, invece di rimanere artefatti localizzati.

2. Metodologia: Bordi Rimescolati (Scrambled Edges)

Per testare questa ipotesi, gli autori introducono i Bordi Rimescolati (Scrambled Edges), una perturbazione diagnostica controfattuale controllata progettata per iniettare segnali di bordo visivamente salienti violando al contempo specifici priori fisici.

2.1. Il Protocollo di Perturbazione

Il metodo prevede l'estrazione di segmenti di bordo da un'immagine di input e l'applicazione di trasformazioni affini (traslazione, rotazione e oscuramento) per rilocare tali bordi in posizioni geometricamente inconsistenti.

• Traslazione: Sposta i bordi in regioni lisce, violando la continuità della superficie.
• Oscuramento: Crea contrasto senza una fonte di luce plausibile, violando la coerenza dell'illuminazione.
• Rotazione: Disturba la geometria delle giunzioni (specificamente le giunzioni a T), violando la causalità dell'occlusione (ordine di profondità).

L'immagine perturbata viene generata mascherando l'immagine originale con questi bordi trasformati, assicurando che l'energia visiva rimanga elevata ma la spiegazione 3D risulti invalida.

2.2. Gruppi di Controllo

Per isolare l'effetto delle violazioni dei priori fisici dal rumore generico ad alta frequenza o dalla scarsità di bordi, gli autori impiegano due rigorosi controlli:

1. Rumore ad Alta Passaggio con Energia Corrispondente: Aggiunge rumore non strutturato con la stessa ampiezza RMS dei Bordi Rimescolati. Questo testa se il collasso sia guidato semplicemente dal contenuto ad alta frequenza.
2. Rumore a Forma di Bordo: Applica spostamenti di rumore/colore alle posizioni originali dei bordi senza rilocazione o rotazione. Questo testa se la mera presenza di forme di bordo causi il collasso, indipendentemente dalla violazione geometrica.

2.3. Metriche di Valutazione

Lo studio va oltre le metriche standard della Ground Truth (GT), che possono essere fuorvianti a causa degli artefatti di smoothing. Si concentra invece su:

• Stabilità: Misura la deviazione ($RMSE_\Delta$) tra le predizioni su input puliti vs. perturbati.
• Rapporto di Collasso: Il rapporto tra la deviazione sotto Bordi Rimescolati e la deviazione sotto Rumore con Energia Corrispondente.
• Analisi dello Spillover: Utilizzando un meccanismo di "Riparazione Oracle" dove la regione perturbata viene sostituita con la predizione pulita. Se gli errori persistono al di fuori della maschera, ciò indica una propagazione globale.
• Metriche Strutturali: Punteggi F1 dei bordi per misurare la fedeltà dei confini, che sono più sensibili al collasso strutturale rispetto agli errori di profondità pixel-wise.
• Consistenza Multi-Vista: Valutazione dell'errore di riproiezione fotometrica su KITTI per verificare la coerenza geometrica 3D.

3. Risultati Chiave

3.1. Emergenza Negativa e il Paradosso SSL

Attraverso architetture CNN, ViT e basate su SSL (inclusi MiDaS, DepthAnything v1/v2), i modelli esibiscono un'emergenza negativa: rimangono relativamente stabili sotto rumore non strutturato con energia corrispondente, ma subiscono un significativo collasso sotto i Bordi Rimescolati.

• Magnitudo: I Bordi Rimescolati inducono una deviazione fino a 3,2 volte maggiore rispetto alle predizioni pulite rispetto al rumore con energia corrispondente.
• Generalità: Questo fallimento è prevalente in diverse architetture, incluse quelle con pre-training SSL su larga scala (ad es., DepthAnything V2), suggerendo che la sola scalabilità non produce capacità emergenti di verifica fisica.

3.2. Meccanismo: Il Ruolo della Causalità dell'Occlusione

Gli studi di ablazione rivelano che la causalità dell'occlusione (specificamente la perturbazione delle giunzioni a T e dell'ordine di profondità) è il driver dominante del collasso.

• La violazione della causalità dell'occlusione porta ai più alti rapporti di collasso (ad es., 3,18× per DepthAnything V2).
• La violazione della continuità della superficie o della coerenza dell'illuminazione causa il collasso, ma in misura minore.
• Il Rumore a Forma di Bordo (struttura senza violazione) induce un collasso minimo, confermando che è l'inconsistenza geometrica del bordo, e non solo la sua presenza, a guidare il fallimento.

3.3. Propagazione Globale e il Limite della Riparazione

L'errore indotto dai Bordi Rimescolati non è locale; si propaga globalmente.

• Limite di Riparazione Oracle: Anche quando la regione corrotta è identificata perfettamente e sostituita con la ground truth (Oracle Mask Repair), il modello recupera solo il 47% dell'errore. Il restante 53% dell'errore esiste in regioni non perturbate, dimostrando che il modello ha integrato l'indizio non supportato in un'ipotesi 3D globalmente coerente ma errata ("Pareti Fantasma").
• Paradosso delle Metriche: Le metriche globali standard (ad es., GT-RMSE) spesso non rilevano questo fallimento. In alcuni casi, la GT-RMSE migliora sotto i Bordi Rimescolati perché il modello produce predizioni più fluide che riducono l'errore pixel-wise pur perdendo la fedeltà critica dei bordi. Al contrario, le metriche strutturali come l'F1 dei bordi mostrano cali severi (fino al 66,7%).

3.4. Consistenza Multi-Vista

Sul dataset KITTI, lo studio rileva un "paradosso della metrica multi-vista". Sotto i Bordi Rimescolati, l'errore di riproiezione fotometrica (coerenza basata sull'aspetto) può diminuire, suggerendo un "migliore" allineamento, mentre l'errore di consistenza profondità-profondità aumenta drasticamente (ad es., +410% per MiDaS CNN). Ciò conferma che le metriche basate sull'aspetto possono essere fuorvianti quando la struttura geometrica sottostante è collassata.

4. Significato e Rivendicazioni

Il documento sostiene di fornire prove comportamentali controllate che gli attuali predittori densi mancano di meccanismi affidabili per isolare gli indizi di bordo fisicamente non supportati.

• Limitazione della Scalabilità: I risultati sfidano l'assunto che la scalabilità e il pre-training SSL portino automaticamente a un ragionamento fisico robusto. I modelli possono essere altamente accurati sui benchmark ma fragili rispetto a specifici indizi di bordo fisicamente implausibili.
• Distinzione dalla Percezione Umana: A differenza della visione umana, che sembra trattare i bordi non supportati come anomalie locali e "isolarle", i modelli attuali li integrano in un'interpretazione geometrica globale, portando a allucinazioni su scala di scena.
• Gap di Valutazione: Il documento sostiene che le metriche di valutazione standard siano insufficienti per rilevare questo modo di fallimento. Propone l'uso di metriche sensibili ai bordi e diagnostiche che sondino la verifica fisica durante l'inferenza.
• Direzione Futura: Gli autori suggeriscono che il meccanismo mancante sia la selezione degli indizi (cue selection). I modelli futuri dovrebbero stimare la plausibilità degli indizi di bordo prima dell'integrazione e fondere selettivamente le evidenze basandosi sul supporto fisico (continuità, illuminazione, occlusione), piuttosto che limitarsi a smussare le predizioni a posteriori.

Lo studio conclude che, sebbene l'inferenza iterativa o generativa (ad es., modelli di diffusione) possa attenuare la severità del collasso, esse non costituiscono intrinsecamente una verifica esplicita del supporto fisico, lasciando aperta la necessità di punteggi di plausibilità dedicati e integrazione selettiva degli indizi.