Resumo Técnico: WorldComp2D

Declaração do Problema

Agentes de inteligência artificial (IA) corporificados operam sob restrições computacionais e de energia rigorosas, percebendo o mundo por meio de observações locais e dependentes do ponto de vista, em vez de acessar visões globais completas. Métodos existentes de inferência espaço-semântica, como localização de objetos, geralmente dependem de acesso global à imagem, processando imagens completas por meio de cálculos pixel a pixel, arquiteturas especializadas ou cabeças de regressão baseadas em mapas de calor. Embora eficazes em benchmarks padrão, essas abordagens incorrem em custos computacionais substanciais e latência, tornando-as inadequadas para implantação em tempo real em agentes corporificados com recursos limitados. Além disso, muitos métodos existentes de aprendizado de representação latente focam na previsão temporal para modelos de mundo, falhando em estruturar explicitamente o espaço latente para preservar simultaneamente a proximidade espacial de alta granularidade e a identidade em nível de instância.

Metodologia

Os autores propõem o WorldComp2D, um framework de aprendizado de representação leve projetado para codificar a estrutura espaço-semântica diretamente em um espaço latente usando observações locais. O framework consiste em três componentes principais:

1. Codificador Dependente de Proximidade (PdEnc):

   • Entrada: O agente observa o ambiente por meio de dois campos receptivos (RF) multiescala centrados em um ponto de fixação $F$. Um patch de pequena escala ($o^{[1]}$) captura a aparência de alta granularidade, enquanto um patch de maior escala ($o^{[2]}$) fornece contexto mais amplo. Estes são concatenados para formar a observação.
   • Arquitetura: Uma Rede Neural Convolucional (CNN) leve com seis camadas convolucionais e duas camadas totalmente conectadas.
   • Saída: Um vetor latente espaço-semântico normalizado $z$ situado em uma hipersfera ($z^T z = 1$).
   • Objetivo de Aprendizado: O codificador é treinado usando Aprendizado Contrastivo Ponderado por Proximidade (PWConLoss). Diferentemente do aprendizado contrastivo binário padrão, este método modela relações pares com valores de afinidade contínuos. A função de perda incentiva que a distância latente entre representações reflita a distância espacial no mundo real entre o ponto de fixação e os objetos circundantes. O peso do par contrastivo é modulado pela distância física $d_{ij}$, garantindo que objetos mais próximos tenham interações positivas mais fortes no espaço latente.

2. Localizador (Loc):

   • Função: Inferir as coordenadas de objetos próximos diretamente a partir das representações espaço-semânticas agregadas.
   • Mecanismo: Como uma única observação local não pode cobrir todos os objetos em uma cena, o Localizador agrega vetores latentes de múltiplos pontos de fixação ($N_F$) através da imagem. Ele concatena esses vetores latentes com suas coordenadas de fixação correspondentes e usa um Perceptron Multicamadas (MLP) para prever coordenadas normalizadas para todas as classes de objetos simultaneamente. Isso permite a localização sem processamento exaustivo pixel a pixel.

3. Localizador Auxiliar (AuxLoc) (Opcional):

   • Função: Um módulo de refinamento que melhora a precisão da localização.
   • Mecanismo: Para cada coordenada prevista, ele extrai um patch local centrado na estimativa e gera um mapa de calor específico da classe usando uma CNN leve com convoluções separáveis por profundidade. A localização final é refinada aplicando um deslocamento derivado do pico do mapa de calor à estimativa grosseira.

Contribuições Principais

• Design do Framework: Introdução do WorldComp2D, um framework centrado na fixação que aprende representações espaço-semânticas a partir de visões locais, permitindo a localização de objetos sem processamento de imagem completa.
• Objetivo de Aprendizado Inovador: Desenvolvimento de um método de aprendizado contrastivo ponderado por proximidade que estrutura explicitamente a geometria do espaço latente. Esta abordagem preserva a identidade do objeto enquanto garante que as distâncias latentes reflitam a proximidade espacial no mundo real em relação ao ponto de fixação.
• Eficiência e Desempenho: Demonstração de que espaços latentes explicitamente estruturados fornecem uma base eficiente para raciocínio espaço-semântico, alcançando precisão competitiva com complexidade computacional significativamente reduzida em comparação com modelos leves de última geração (SoTA).

Resultados Experimentais

O framework foi avaliado em tarefas de localização de marcos faciais usando os conjuntos de dados COFW, 300W e AFLW.

• Eficiência: O WorldComp2D requer apenas 2,4 milhões de parâmetros e aproximadamente 293,7–546,8 MFLOPs (dependendo do conjunto de dados), em comparação com modelos leves SoTA como o PoPos, que usam 9,7M de parâmetros e 1,2 GFLOPs. Isso representa uma redução de 4,0× em parâmetros e uma redução de 2,2× em FLOPs no pior cenário.
• Desempenho em Tempo Real: O modelo alcança inferência em tempo real em CPU, atingindo 78,48 FPS no conjunto de dados 300W e 138,41 FPS no COFW usando um processador i5-13400.
• Precisão:
  • Embora o framework produza um Erro Médio Normalizado (NME) ligeiramente superior aos métodos de regressão supervisionada direta no COFW e 300W, ele supera vários métodos SoTA (incluindo LAB, Awing, ODN e HRNet) no conjunto de dados AFLW.
  • O módulo AuxLoc opcional fornece uma melhoria marginal na precisão (por exemplo, reduzindo o NME em ~4,6% no COFW) ao custo de maior carga computacional.
• Robustez: O modelo demonstra robustez consistente contra degradações de entrada, incluindo desfoque gaussiano, compressão JPEG, desfoque de movimento e oclusão, com degradação moderada de desempenho mesmo sob condições extremas.
• Propriedades do Espaço Latente: Estudos de ablação confirmam que o espaço latente agrupa com sucesso objetos por identidade (intraclasse) enquanto separa classes diferentes (interclasse). Crucialmente, a distância latente correlaciona-se com a proximidade espacial no mundo real, uma propriedade ausente em codificadores treinados com perda contrastiva não ponderada.

Significado e Alegações

O artigo afirma que o WorldComp2D oferece uma base geral e eficiente para raciocínio espaço-semântico em IA corporificada. Ao estruturar explicitamente a geometria do espaço latente para alinhar com a identidade do objeto e a proximidade espacial, o framework permite que agentes realizem compreensão em nível de instância a partir de um pequeno conjunto de observações locais. Esta abordagem aborda o conflito fundamental entre as suposições de visão global da visão computacional tradicional e a realidade de visão local dos agentes corporificados.

Os autores enfatizam que seu trabalho fornece uma troca flexível entre precisão e velocidade, permitindo a implantação em dispositivos de borda com restrições rigorosas de recursos. Os resultados sugerem que afastar-se de mapas de características densos e processamento global em direção a representações latentes leves e explicitamente estruturadas é um caminho viável para a percepção corporificada em tempo real. O framework é de código aberto para facilitar pesquisas adicionais nessa direção.