Resumen Técnico: Colapso Geométrico: Cuando los Modelos de Visión Fallan al Verificar la Causalidad Física

1. Declaración del Problema

Los avances recientes en el aprendizaje autosupervisado (SSL) a gran escala y en los Vision Transformers (ViT) han mejorado significativamente la precisión en tareas de predicción geométrica densa, como la estimación de profundidad monocular y la predicción de normales de superficie. Sin embargo, una alta precisión promedio en los bancos de pruebas estándar no garantiza que los modelos posean la capacidad de verificar la plausibilidad física durante la inferencia.

El problema central abordado es si los actuales predictores densos pueden distinguir entre señales de bordes visualmente prominentes que corresponden a estructuras 3D válidas (p. ej., contornos de objetos, oclusiones) y aquellas que son físicamente no sustentadas (p. ej., reflejos, artefactos de iluminación o gradientes espurios). Los autores plantean la hipótesis de que los modelos actuales pueden tratar cualquier señal fuerte de tipo borde como evidencia geométrica sin verificar si admite una explicación física plausible. Esto conduce a un modo de fallo denominado Colapso Geométrico, donde los bordes localmente no sustentados desencadenan alucinaciones globales e inconsistencias estructurales que se propagan por toda la escena, en lugar de permanecer como artefactos localizados.

2. Metodología: Bordes Desordenados (Scrambled Edges)

Para probar esta hipótesis, los autores introducen los Bordes Desordenados, una perturbación diagnóstica contrafactual controlada diseñada para inyectar señales de bordes visualmente prominentes mientras se violan principios físicos específicos.

2.1. El Protocolo de Perturbación

El método consiste en extraer segmentos de bordes de una imagen de entrada y aplicar transformaciones afines (traslación, rotación y oscurecimiento) para reubicarlos en posiciones geométricamente inconsistentes.

• Traslación: Mueve los bordes hacia regiones suaves, violando la continuidad de la superficie.
• Oscurecimiento: Crea contraste sin una fuente de luz plausible, violando la coherencia de la iluminación.
• Rotación: Disrumpe la geometría de las uniones (específicamente las uniones en T), violando la causalidad de la oclusión (orden de profundidad).

La imagen perturbada se genera enmascarando la imagen original con estos bordes transformados, asegurando que la energía visual permanezca alta pero la explicación 3D sea inválida.

2.2. Grupos de Control

Para aislar el efecto de las violaciones de los principios físicos de la presencia de ruido de alta frecuencia o la escasez de bordes, los autores emplean dos controles rigurosos:

1. Ruido de Paso Alto Emparejado por Energía: Añade ruido no estructurado con la misma amplitud de raíz cuadrática media (RMS) que los Bordes Desordenados. Esto prueba si el colapso es impulsado meramente por el contenido de alta frecuencia.
2. Ruido con Forma de Borde: Aplica cambios de ruido o color en las ubicaciones originales de los bordes sin su reubicación o rotación. Esto prueba si la mera presencia de formas de bordes causa el colapso, independientemente de la violación geométrica.

2.3. Métricas de Evaluación

El estudio va más allá de las métricas estándar de Verdad de Terreno (GT), que pueden ser engañosas debido a los artefactos de suavizado. En su lugar, se centra en:

• Estabilidad: Medir la desviación ($RMSE_\Delta$) entre las predicciones en entradas limpias frente a perturbadas.
• Ratio de Colapso: La relación entre la desviación bajo Bordes Desordenados y la desviación bajo Ruido Emparejado por Energía.
• Análisis de Desbordamiento (Spillover): Utilizando un mecanismo de "Reparación Oráculo" donde la región perturbada se reemplaza con la predicción limpia. Si los errores persisten fuera de la máscara, indica una propagación global.
• Métricas Estructurales: Puntuaciones F1 de bordes para medir la fidelidad de los límites, que son más sensibles al colapso estructural que los errores de profundidad píxel a píxel.
• Consistencia Multi-vista: Evaluar el error de reproyección fotométrica en KITTI para comprobar la consistencia geométrica 3D.

3. Resultados Clave

3.1. Emergencia Negativa y la Paradoja del SSL

A través de arquitecturas CNN, ViT y basadas en SSL (incluyendo MiDaS y DepthAnything v1/v2), los modelos exhiben emergencia negativa: se mantienen relativamente estables bajo ruido no estructurado emparejado por energía, pero sufren un colapso significativo bajo Bordes Desordenados.

• Magnitud: Los Bordes Desordenados inducen una desviación hasta 3.2 veces mayor respecto a las predicciones limpias en comparación con el ruido emparejado por energía.
• Generalidad: Este fallo es prevalente en diversas arquitecturas, incluyendo aquellas con preentrenamiento SSL a gran escala (como DepthAnything V2), lo que sugiere que el escalado por sí solo no produce capacidades emergentes de verificación física.

3.2. Mecanismo: El Rol de la Causalidad de la Oclusión

Los estudios de ablación revelan que la causalidad de la oclusión (específicamente la disrupción de las uniones en T y el orden de profundidad) es el principal motor del colapso.

• Violar la causalidad de la oclusión conduce a los ratios de colapso más altos (p. ej., 3.18× para DepthAnything V2).
• Violar la continuidad de la superficie o la coherencia de la iluminación también causa colapso, pero en menor medida.
• El Ruido con Forma de Borde (estructura sin violación) induce un colapso mínimo, confirmando que la inconsistencia geométrica del borde, y no solo su presencia, es lo que impulsa el fallo.

3.3. Propagación Global y el Techo de Reparación

El error inducido por los Bordes Desordenados no es local; se propaga globalmente.

• Límite de Reparación Oráculo: Incluso cuando la región corrupta se identifica perfectamente y se reemplaza con la verdad de terreno (Reparación de Máscara Oráculo), el modelo solo recupera el 47% del error. El 53% restante del error existe en regiones no perturbadas, demostando que el modelo ha integrado la señal no sustentada en una hipótesis 3D globalmente consistente pero incorrecta ("Paredes Fantasma").
• Paradoja de las Métricas: Las métricas globales estándar (p. ej., GT-RMSE) a menudo no detectan este fallo. En algunos casos, el GT-RMSE mejora bajo Bordes Desordenados porque el modelo genera predicciones más suaves que reducen el error píxel a píxel, pero pierde la fidelidad crítica de los bordes. Por el contrario, las métricas estructurales como el F1 de Bordes muestran caídas severas (hasta un 66.7%).

3.4. Consistencia Multi-vista

En el conjunto de datos KITTI, el estudio encuentra una "paradoja de métrica multi-vista". Bajo Bordes Desordenados, el error de reproyección fotométrica (consistencia basada en la apariencia) puede disminuir, sugiriendo un "mejor" alineamiento, mientras que el error de consistencia profundidad-profundidad aumenta drásticamente (p. ej., +410% para MiDaS CNN). Esto confirma que las métricas basadas en la apariencia pueden ser engañosas cuando la estructura geométrica subyacente ha colapsado.

4. Significado y Reivindicaciones

El artículo afirma proporcionar evidencia conductual controlada de que los actuales predictores densos carecen de mecanismos fiables para poner en cuarentena los bordes físicamente no sustentados.

• Limitación del Escalado: Los hallazgos desafían la suposición de que el escalado y el preentrenamiento SSL conducen automáticamente a un razonamiento físico robusto. Los modelos pueden ser altamente precisos en los bancos de pruebas y, sin embargo, frágiles ante señales de bordes físicamente implausibles.
• Distinción de la Percepción Humana: A diferencia de la visión humana, que parece tratar los bordes no sustentados como anomalías locales y los "pone en cuarentena", los modelos actuales integran estas señales en una interpretación geométrica global, lo que conduce a alucinaciones en toda la escena.
• Brecha de Evaluación: El artículo argumenta que las métricas de evaluación estándar son insuficientes para detectar este modo de fallo. Aboga por el uso de métricas conscientes de los bordes y diagnósticos que exploren la verificación física durante la inferencia.
• Dirección Futura: Los autores sugieren que el mecanismo faltante es la selección de señales (cue selection). Los modelos futuros deberían estimar la plausibilidad de las señales de los bordes antes de su integración y fusionar selectivamente la evidencia basada en el soporte físico (continuidad, iluminación, oclusión), en lugar de simplemente suavizar las predicciones después del hecho.

El estudio concluye que, si bien la inferencia iterativa o generativa (p. ej., modelos de difusión) puede atenuar la severidad del colapso, no constituyen inherentemente una verificación explícita del soporte físico, dejando la necesidad de una puntuación de plausibilidad dedicada y una integración selectiva de señales como un problema de investigación abierto.