Resumo Técnico: Colapso Geométrico: Quando Modelos de Visão Falham ao Verificar a Causalidade Física

1. Declaração do Problema

Avanços recentes em aprendizado auto-supervisionado (SSL) de larga escala e Vision Transformers (ViTs) melhoraram significativamente a precisidade de tarefas de predição geométrica densa, como estimativa de profundidade monocular e predição de normais de superfície. No entanto, uma alta acurácia média em benchmarks padrão não garante que os modelos possuam a capacidade de verificar a plausibilidade física durante a inferência.

O problema central abordado é se os preditores densos modernos conseguem distinguir entre pistas de bordas visualmente salientes que correspondem a estruturas 3D válidas (ex: contornos de objetos, contornos de oclusão) e aquelas que são fisicamente não suportadas (ex: reflexos, artefatos de iluminação ou gradientes espúrios). Os autores hipotetizam que os modelos atuais podem tratar qualquer sinal forte do tipo borda como evidência geométrica sem verificar se ele admite uma explicação física plausível. Isso leva a um modo de falha denominado Colapso Geométrico, onde bordas localmente não suportadas desencadeiam alucinações globais e inconsistências estruturais que se propagam por toda a cena, em vez de permanecerem como artefatos localizados.

2. Metodologia: Bordas Embaralhadas (Scrambled Edges)

Para testar esta hipótese, os autores introduzem as Bordas Embaralhadas, uma perturbação diagnóstica contrafactual controlada projetada para injetar pistas de borda visualmente salientes enquanto viola princípios físicos específicos.

2.1. O Protocolo de Perturbação

O método envolve a extração de segmentos de borda de uma imagem de entrada e a aplicação de transformações afins (translação, rotação e escurecimento) para relocalizá-los em posições geometricamente inconsistentes.

• Translação: Move as bordas para regiões suaves, violando a continuidade da superfície.
• Escurecimento: Cria contraste sem uma fonte de luz plausível, violando a coerência de iluminação.
• Rotação: Disrompe a geometria de junção (especificamente junções em T), violando a causalidade de oclusão (ordenação de profundidade).

A imagem perturbada é gerada mascarando a imagem original com estas bordas transformadas, garantindo que a energia visual permaneça alta, mas a explicação 3D seja inválida.

2.2. Grupos de Controle

Para isolar o efeito das violações de prioridade física de ruídos de alta frequência genéricos ou esparsidade de bordas, os autores utilizam dois controles rigorosos:

1. Ruído de Passa-Alta Pareado em Energia: Adiciona ruído não estruturado com a mesma amplitude de Raiz Quadrada Média (RMS) das Bordas Embaralhadas. Isso testa se o colapso é impulsionado meramente pelo conteúdo de alta frequência.
2. Ruído com Formato de Borda: Aplica ruídos ou mudanças de cor nas localizações originais das bordas sem relocalização ou rotação. Isso testa se a mera presença de formas de borda causa o colapso, independentemente da violação geométrica.

2.3. Métricas de Avaliação

O estudo vai além das métricas padrão de Ground Truth (GT), que podem ser enganosas devido a artefatos de suavização. Em vez disso, foca em:

• Estabilidade: Medindo o desvio ($RMSE_\Delta$) entre as predições em entradas limpas vs. perturbadas.
• Razão de Colapso: A razão entre o desvio sob Bordas Embaralhadas e o desvio sob Ruído Pareado em Energia.
• Análise de Transbordamento (Spillover): Usando um mecanismo de "Reparo Oráculo" onde a região perturbada é substituída pela predição limpa. Se os erros persistirem fora da máscara, isso indica propagação global.
• Métricas Estruturais: Pontuações F1 de borda para medir a fidelidade de contorno, que são mais sensíveis ao colapso estrutural do que erros de profundidade pixel a pixel.
• Consistência Multivista: Avaliando o erro de reprojeção fotométrica no KITTI para verificar a consistência geométrica 3D.

3. Resultados Principais

3.1. Emergência Negativa e o Paradoxo do SSL

Em todas as arquiteturas CNN, ViT e baseadas em SSL (incluindo MiDaS, DepthAnything v1/v2), os modelos exibem emergência negativa: eles permanecem relativamente estáveis sob ruído não estruturado e pareado em energia, mas sofrem colapso significativo sob Bordas Embaralhadas.

• Magnitude: As Bordas Embaralhadas induzem até 3,2× mais desvio em relação às predições limpas comparado ao ruído pareado em energia.
• Generalidade: Esta falha é prevalente em diversas arquiteturas, incluindo aquelas com pré-treinamento SSL de larga escala (ex: DepthAnything V2), sugerindo que o escalonamento sozinho não gera capacidades emergentes de verificação física.

3.2. Mecanismo: O Papel da Causalidade de Oclusão

Estudos de ablação revelam que a causalidade de oclusão (especificamente a disrupção de junções em T e ordenação de profundidade) é o principal motor do colapso.

• A violação da causalidade de oclusão leva às maiores razões de colapso (ex: 3,18× para DepthAnything V2).
• A violação da continuidade de superfície ou da coerência de iluminação também causa colapso, mas em menor grau.
• O Ruído com Formato de Borda (estrutura sem violação) induz colapso mínimo, confirmando que a inconsistência geométrica da borda, e não apenas sua presença, impulsiona a falha.

3.3. Propagação Global e o Teto de Reparo

O erro induzido pelas Bordas Embaralhadas não é local; ele se propaga globalmente.

• Limite do Reparo Oráculo: Mesmo quando a região corrompida é perfeitamente identificada e substituída pela verdade fundamental (Reparo de Máscara Oráculo), o modelo recupera apenas 47% do erro. Os 53% restantes do erro existem em regiões não perturbadas, demonstrando que o modelo integrou a pista não suportada em uma hipótese 3D globalmente consistente, porém incorreta ("Paredes Fantasmas").
• Paradoxo de Métrica: Métricas globais padrão (ex: GT-RMSE) frequentemente falham em detectar esta falha. Em alguns casos, o GT-RMSE melhora sob Bordas Embaralhadas porque o modelo produz predições mais suaves que reduzem o erro pixel a pixel, enquanto perde a fidelidade crítica de contorno. Por outro lado, métricas estruturais como F1 de Borda mostram quedas severas (até 66,7%).

3.4. Consistência Multivista

No dataset KITTI, o estudo encontra um "paradoxo de métrica multivista". Sob Bordas Embaralhadas, o erro de reprojeção fotométrica (consistência baseada em aparência) pode diminuir, sugerindo um "melhor" alinhamento, enquanto o erro de consistência profundidade-profundidade aumenta drasticamente (ex: +410% para MiDaS CNN). Isso confirma que métricas baseadas em aparência podem ser enganosas quando a estrutura geométrica subjacente colapsou.

4. Significância e Alegações

O artigo afirma fornecer evidência comportamental controlada de que os preditores densos atuais carecem de mecanismos confiáveis para isolar pistas de borda fisicamente não suportadas.

• Limitação do Escalonamento: Os achados desafiam a suposição de que o escalonamento e o pré-treinamento SSL levam automaticamente a um raciocínio físico robusto. Os modelos podem ser altamente precisos em benchmarks, mas frágeis a pistas de borda específicas e fisicamente implausíveis.
• Distinção da Percepção Humana: Ao contrário da visão humana, que parece tratar bordas não suportadas como anomalias locais e as "quarentena", os modelos atuais as integram em uma interpretação geométrica global, levando a alucinações em toda a cena.
• Lacuna de Avaliação: O artigo argumenta que as métricas de avaliação padrão são insuficientes para detectar este modo de falha. Ele defende o uso de métricas conscientes de contorno e diagnósticos que testem a verificação física durante a inferência.
• Direção Futura: Os autores sugerem que o mecanismo ausente é a seleção de pistas. Modelos futuros devem estimar a plausibilidade das pistas de borda antes da integração e fundir evidências seletivamente com base no suporte físico (continuidade, iluminação, oclusão), em vez de apenas suavizar as predições após o fato.

O estudo conclui que, embora a inferência iterativa ou generativa (ex: modelos de difusão) possa atenuar a severidade do colapso, elas não constituem inerentemente uma verificação explícita de suporte físico, deixando a necessidade de pontuação de plausibilidade dedicada e integração seletiva de pistas como um problema de pesquisa em aberto.