An Angular-Temporal Interaction Network for Light Field Object Tracking in Low-Light Scenes

Resumo Técnico: Uma Rede de Interação Angular-Temporal para Rastreamento de Objetos em Campo de Luz em Cenas de Baixa Luminosidade

Definição do Problema
Os modelos de rastreamento de objetos existentes baseiam-se primariamente em técnicas de câmeras RGB, que capturam informações de intensidade 2D. Em cenas complexas de baixa luminosidade, a informação de intensidade é fortemente atenuada, levando à degradação do desempenho de rastreamento devido à falta de pistas visuais discriminativas. Embora câmeras de campo de luz capturem dados 4D estruturados (informação espacial e angular) que melhoram a aparência do objeto e as descrições estruturais geométricas mesmo em baixa luz, os métodos atuais têm dificuldade em utilizar esses dados de forma eficaz. Especificamente, campos de luz de alta dimensão contêm pistas de aparência redundantes que estão fortemente acopladas a pistas estruturais geométricas esparsas. Representações existentes, como as Imagens de Plano Epipolar (EPI) padrão, ainda retêm essa redundância, limitando a capacidade do modelo de explorar pistas estruturais geométricas no domínio angular. Além disso, modelar pistas temporais para o rastreamento de campo de luz é desafiador; os métodos espaço-temporais padrão frequentemente agregam informações de estruturas não geométricas, enfraquecendo a distinção entre alvo e fundo. Adicionalmente, a escassez de conjuntos de dados de campo de luz torna o aprendizado puramente supervisionado insuficiente para uma modelagem eficaz de características temporais.

Metodologia
O artigo propõe um framework centrado em uma representação inovadora e uma arquitetura de rede especializada:

1. Imagem de Estrutura de Plano Epipolar de Campo de Luz (ESI):
   Os autores introduzem a representação ESI para definir explicitamente a estrutura geométrica dentro do campo de luz. Ao capitalizar nas mudanças abruptas nos ângulos dos raios de luz dentro do plano epipolar (especificamente em limites de objetos), o método identifica "pontos de estrutura geométrica". Isso é alcançado calculando as derivadas de primeira ordem (gradientes) de EPIs horizontais e verticais e projetando as amplitudes máximas de gradiente em um plano 2D. Este processo remove a informação de aparência redundante de alta dimensão, deixando uma representação que delineia claramente os contornos do alvo, particularmente em condições de baixa luminosidade.

2. Rede de Interação Angular-Temporal (ATINet):
   A ATINet é uma arquitetura híbrida projetada para aprender representações sensíveis ao ângulo a partir da ESI. Ela emprega um processo de extração de características de fluxo duplo:

   • Fluxo de Aparência: Introduz a ESI em um backbone de CNN.
   • Fluxo Angular-Temporal: Introduz a ESI em um framework baseado em Transformer potencializado por um módulo de Seleção Adaptativa de Geometria (GAS).
     O Transformer base utiliza autoatenção de múltiplas cabeças para modelar correlações intra-frame e inter-frame. O módulo GAS atua como um componente plug-and-play que particiona adaptativamente os embeddings da ESI em pontos de estrutura geométrica (cruciais para a percepção de movimento) e pontos não geométricos. Ele constrói uma matriz de relação para agregar informações seletivamente, garantindo que a rede foque em pistas geométricas esparsas em vez de dados de aparência redundantes.

3. Aprendizado Autossupervisionado (SSL):
   Para lidar com a disponibilidade limitada de conjuntos de dados de campo de luz, os autores introduzem uma função de perda autossupervisionada. Esta perda utiliza uma estratégia de mascaramento (inspirada no DropMAE) onde um decodificador reconstrói as características de embedding mascaradas. Crucialmente, o decodificador emprega um dropout de atenção espacial adaptativa para restringir as interações intra-frame enquanto incentiva as interações inter-frame. Isso força a rede a priorizar pistas de movimento temporal e aprender representações eficazes para correspondência temporal sem a necessidade de dados extensos rotulados.

4. Construção de Dataset (R8LUT):
   Os autores construíram o dataset R8LUT, um conjunto de dados de campo de luz em larga escala para rastreamento de objetos. Utilizando uma câmera Raytrix R8, eles gravaram 26 sequências de vídeo de campo de luz em ambientes de baixa luminosidade contendo diversos objetos (ex: peixes, carros de brinquedo, porcas industriais). O dataset inclui 173 sequências para Rastreamento de Objeto Único (SOT) e 26 sequências para Rastreamento de Múltiplos Objetos (MOT), todas anotadas com caixas delimitadoras (bounding boxes) e representações ESI.

Principais Contribuições

• Representação Inovadora: A proposta da ESI de Campo de Luz, que delineia explicitamente os pontos de estrutura geométrica ao explorar mudanças abruptas nos raios de luz, reduzindo efetivamente a redundância e melhorando a expressão visual em cenas de baixa luminosidade.
• Arquitetura ATINet: O desenvolvimento de uma Rede de Interação Angular-Temporal que integra um módulo de Seleção Adaptativa de Geometria (GAS) para aprender características discriminativas de pistas estruturais geométricas e angulares-temporais.
• Otimização Autossupervisionada: A introdução de uma perda autossupervisionada para otimizar representações sensíveis ao ângulo, facilitando o aprendizado de características eficazes no domínio temporal, apesar da escassez de dados.
• Dataset de Referência: A criação do dataset R8LUT, fornecendo o primeiro recurso de larga escala para tarefas de SOT e MOT de campo de luz em cenários de baixa luminosidade.
• Extensão para MOT: A extensão do método proposto para Rastreamento de Múltiplos Objetos (AMTrack) através da integração do GAS em um framework de reidentificação.

Resultados
Experimentos extensivos foram conduzidos no dataset R8LUT:

• Rastreamento de Objeto Único (SOT): A ATinet alcançou desempenho de estado da arte, superando 24 métodos existentes (incluindo rastreadores híbridos e de Transformer puro) em métricas de Sucesso, Precisão e Precisão Normalizada. Comparações visuais demonstraram capacidade superior de rastrear objetos deformáveis e similares em condições de baixa luminosidade comparado a rastreadores baseados em RGB.
• Rastreamento de Múltiplos Objetos (MOT): O método estendido AMTrack alcançou as pontuações mais altas de MOTA (87.5) e IDF1 (85.4) entre os métodos de estado da arte comparados, demonstrando manutenção eficaz de trajetória de longo prazo e baixas taxas de detecção perdida.
• Estudos de Ablação: Os resultados confirmaram que a combinação de ESI, GAS e SSL produz o desempenho ideal. Especificamente, a representação ESI mostrou-se superior a outras agregações de gradiente (média, soma, máximo), e o módulo GAS provou ser essencial para modelar correlações intra-frame e inter-frame.

Significância
O artigo afirma que sua principal significância reside em abordar os desafios específicos do rastreamento de objetos em campo de luz em ambientes de baixa luminosidade, um cenário onde os métodos tradicionais de RGB falham. Ao desacoplar as pistas estruturais geométricas das informações de aparência redundantes e modelá-las através de uma rede de interação angular-temporal, o método proposto permite uma discriminação de alvo mais robusta. A introdução do dataset R8LUT preenche uma lacuna crítica nos recursos disponíveis para este domínio. Os autores afirmam que sua abordagem valida a eficácia da modelagem angular-temporal de alta qualidade de campo de luz, alcançando resultados de estado da arte tanto nos benchmarks de SOT quanto de MOT, mantendo a eficiência computacional através do design leve dos módulos GAS e SSL.