Gaussian-Constrained LeJEPA Representations for Unsupervised Scene Discovery and Pose Consistency

Resumo Técnico: Representações LeJEPA com Restrição Gaussiana para Descoberta de Cenas Não Supervisionada e Consistência de Pose

Título Original: Gaussian-Constrained LeJEPA Representations for Unsupervised Scene Discovery and Pose Consistency
Autor: Mohsen Mostafa
Data: Janeiro de 2026

---

1. O Problema (Contexto e Motivação)

O desafio central abordado é a reconstrução 3D de cenas a partir de coleções de imagens não estruturadas (como as encontradas no Flickr ou Instagram). O problema torna-se significativamente mais complexo quando o conjunto de dados é "misto", contendo imagens de múltiplas cenas não relacionadas, outliers (imagens irrelevantes) e ambiguidades visuais.

O artigo foca especificamente no desafio Image Matching Challenge 2025 (IMC2025), que exige duas tarefas simultâneas:

1. Descoberta de Cenas: Agrupar imagens que pertencem à mesma cena.
2. Estimativa de Pose: Determinar a posição e orientação da câmera para cada imagem dentro de um grupo.

O autor identifica uma lacuna no estado da arte: enquanto métodos geométricos tradicionais falham com variações de aparência e métodos de aprendizado profundo dependem de heurísticas manuais (como amostragem negativa), falta uma base teórica sólida que una o aprendizado autossupervisionado à reconstrução estrutural.

2. Metodologia

A principal inovação do trabalho é a aplicação dos princípios do LeJEPA (Joint Embedding Predictive Architecture) para substituir heurísticas de engenharia por restrições estatísticas teóricas. O autor propõe três pipelines progressivos, culminando na abordagem baseada em LeJEPA.

O Core da Inovação: Restrições Gaussianas (SIGReg)
Inspirado no modelo de sinal-ruído do LeJEPA, o trabalho implementa o princípio de Regularização Gaussiana Isotrópica Fatiada (SIGReg). A premissa é que as representações ideais (embeddings) devem seguir uma distribuição Gaussiana isotrópica.

A metodologia técnica envolve:

• Codificação com Restrição: Implementação de um codificador que força os embeddings a serem normalizados e escalonados para satisfazer propriedades gaussianas.
• Medidas de Similaridade Teóricas: Em vez de usar apenas a similaridade de cosseno comum, o modelo utiliza:
  • Similaridade de Cosseno Gaussiana: Baseada na probabilidade de origem comum sob suposições gaussianas.
  • Correspondência de Função Característica: Utiliza a função característica ($\phi(t)$) para descrever a distribuição completa, permitindo uma comparação mais robusta entre as distribuições das imagens.
• Validação de Cluster via SIGReg: Para garantir que um grupo de imagens realmente pertence à mesma cena, o algoritmo verifica se os embeddings do cluster satisfazem dois critérios:
  1. Isotropia: A razão entre o maior e o menor autovalor da matriz de covariância deve ser baixa ($\lambda_{max}/\lambda_{min} < 10$).
  2. Média Próxima de Zero: A norma da média dos embeddings deve ser pequena ($\|\mu\| < 1.0$).

3. Principais Contribuições

1. Validação Empírica do LeJEPA: É um dos primeiros estudos a testar se os princípios teóricos de representações gaussianas funcionam em tarefas práticas de visão computacional (como correspondência de imagens e reconstrução 3D).
2. Pipeline Integrado: Desenvolvimento de um fluxo completo que vai desde o processamento de imagem e extração de características até a descoberta de cenas e estimativa de pose.
3. Substituição de Heurísticas por Teoria: Demonstra que restrições estatísticas prováveis podem substituir métodos de amostragem e perdas contrastivas desenhadas manualmente, melhorando a generalização.

4. Resultados

Os experimentos realizados no IMC2025 compararam três abordagens:

• Pipeline 1 (Otimizado para Pontuação): Obteve a maior pontuação pública (0.96), mas foi altamente dependente de ajustes específicos para o conjunto de dados (overfitting).
• Pipeline 2 (Generalizado): Teve um desempenho equilibrado, mas menos robusto.
• Pipeline 3 (LeJEPA-Enhanced): Embora tenha pontuações ligeiramente inferiores ao Pipeline 1 em termos de métricas puras de competição (0.87), demonstrou uma capacidade superior de manter a consistência geométrica e uma menor taxa de erro em termos de tamanho de cena e outliers, sugerindo uma melhor capacidade de generalização para dados não vistos.

5. Significância e Conclusão

O trabalho é significativo por propor uma mudança de paradigma: em vez de "ajustar" modelos para que funcionem em conjuntos de dados específicos, deve-se utilizar restrições de aprendizado teoricamente justificadas.

A conclusão aponta que o uso de distribuições gaussianas isotrópicas para regularizar embeddings oferece um caminho promissor para unir o aprendizado autossupervisionado com os pipelines de Structure-from-Motion (SfM), permitindo que sistemas de visão computacional sejam mais robustos, interpretáveis e menos dependentes de dados rotulados ou heurísticas manuais.