Revisiting RGBT Tracking Benchmarks from the Perspective of Modality Validity: A New Benchmark, Problem, and Solution

Resumo Técnico: Revisão de Benchmarks de Rastreamento RGBT sob a Perspectiva da Validade da Modalidade

1. O Problema

O rastreamento de objetos visuais utilizando dados RGB (visível) e TIR (Infravermelho Térmico) tem ganhado destaque devido à sua robustez em cenários desafiadores, como noite e condições climáticas adversas. No entanto, os benchmarks existentes (ex: RGBT234, LasHeR, VTUAV) apresentam uma lacuna crítica:

• Inconsistência de Cenários: A maioria dos dados nos benchmarks atuais foi coletada em "cenários comuns", onde ambas as modalidades (RGB e TIR) possuem qualidade suficiente. Isso não reflete as condições reais onde o rastreamento multimodal é mais necessário.
• Falha em Cenários de Garantia Multimodal (MMW): Em cenários de "Multi-Modality Warranting" (MMW), uma modalidade pode tornar-se não informativa ou completamente inútil (ex: RGB invisível à noite ou TIR com reflexos/oclusão), enquanto a outra permanece eficaz.
• Estratégia de Fusão Subótima: Os métodos atuais frequentemente fundem informações das duas modalidades em todas as frames, independentemente da qualidade dos dados. Em cenários MMW, fundir dados não informativos pode degradar o desempenho em vez de melhorá-lo.

2. Metodologia Proposta

Os autores propõem uma abordagem tripartida para resolver essas questões: um novo benchmark, um novo problema de pesquisa e um novo método de rastreamento.

A. Novo Benchmark: MV-RGBT

• Coleta de Dados: O dataset MV-RGBT foi coletado especificamente em cenários MMW.
• Características: Contém 122 pares de vídeos, com 89.9k frames, cobrindo 36 categorias de objetos e 19 cenas distintas.
• Categorização: Os dados são divididos em dois subconjuntos baseados na validade da modalidade:
  • MV-RGBT-RGB: Onde o RGB é válido e o TIR é afetado (ex: reflexos térmicos, oclusão).
  • MV-RGBT-TIR: Onde o TIR é válido e o RGB é afetado (ex: noite, neblina densa, superexposição).
• Objetivo: Forçar os algoritmos a lidarem com a validade da modalidade e não apenas com a fusão cega.

B. Novo Problema: "Quando Fundir?" (When to Fuse)

• O artigo questiona a necessidade de fusão em cada frame. A hipótese é que, em cenários MMW, a fusão pode ser contraproducente se uma modalidade estiver fornecendo dados ruidosos ou irrelevantes.
• O foco desloca-se de como fundir para quando fundir, baseando-se na confiabilidade de cada modalidade individualmente.

C. Novo Método: MoETrack (Mixture of Experts)
O MoETrack é uma estratégia de fusão baseada em Mixture of Experts (MoE) que opera no nível de decisão:

• Arquitetura: O modelo possui três "especialistas" (cabeças de rastreamento) que operam em paralelo:
  1. Expert RGB: Rastreia apenas com dados visíveis.
  2. Expert TIR: Rastreia apenas com dados térmicos.
  3. Expert RGBT: Rastreia com dados fundidos (soma elementar das features).
• Mecanismo de Seleção: Durante a inferência, cada especialista gera uma caixa delimitadora e uma pontuação de confiança (baseada no mapa de classificação).
• Decisão: A previsão final é escolhida dinamicamente com base na maior pontuação de confiança (mc = \max(cs_{rgb}, cs_{tir}, cs_{rgbt}})).
  • Se o Expert RGBT tiver a maior confiança, a fusão é considerada benéfica.
  • Se um dos especialistas unimodais tiver a maior confiança, a fusão é ignorada para evitar a contaminação por dados não informativos.
• Treinamento: Utiliza uma perda média das três cabeças, permitindo que os especialistas se especializem enquanto aprendem a selecionar o melhor resultado.

3. Resultados Principais

O MoETrack foi avaliado no novo benchmark MV-RGBT e em benchmarks padrão (RGBT234, LasHeR, VTUAV-ST, GTOT).

• Desempenho SOTA (State-of-the-Art): O MoETrack estabeleceu novos recordes de desempenho em todos os benchmarks testados, superando métodos avançados como GMMT, BAT e ViPT.
  • Exemplo no MV-RGBT: 51.4% de Precisão (PR) e 67.6% de Sucesso (SR), superando o segundo colocado em ~2.3%.
  • Exemplo no RGBT234: 88.1% de PR e 65.1% de SR.
• Análise de Composição:
  • Em cenários onde uma modalidade é inválida (ex: MV-RGBT-TIR), os métodos que forçam a fusão (como SETrack) tendem a falhar. O MoETrack, ao selecionar o especialista TIR, mantém a robustez.
  • Em cenários comuns (ambas as modalidades válidas), o especialista RGBT (fundido) é selecionado na maioria das vezes, confirmando que a fusão é benéfica quando os dados são de alta qualidade.
• Eficiência: O método mantém uma taxa de quadros (FPS) competitiva (23 FPS), demonstrando um bom equilíbrio entre complexidade computacional e ganho de desempenho.

4. Contribuições Chave

1. Benchmark MV-RGBT: O primeiro dataset focado exclusivamente em cenários MMW, com divisão composicional para análise detalhada da validade de cada modalidade.
2. Definição do Problema "When to Fuse": Identificação de que a fusão contínua é subótima em cenários com dados não informativos, propondo a seleção adaptativa como solução.
3. Método MoETrack: Uma arquitetura baseada em Mixture of Experts que implementa a fusão condicional baseada em confiança, alcançando SOTA em múltiplos benchmarks.
4. Insight Geral: A demonstração de que a fusão multimodal não é sempre benéfica; em cenários degradados, a seleção da modalidade mais confiável é superior à fusão cega.

5. Significado e Impacto

Este trabalho é fundamental para o avanço do rastreamento multimodal porque:

• Realismo: Alinha os benchmarks de pesquisa com as condições do mundo real (noite, neblina, reflexos), onde os sensores únicos falham.
• Eficiência de Fusão: Muda o paradigma de "fusão em todos os momentos" para "fusão inteligente", economizando recursos computacionais e evitando erros de rastreamento causados por dados ruins.
• Generalização: A abordagem de Mixture of Experts e a questão de "quando fundir" podem ser estendidas para outras tarefas multimodais, como rastreamento RGB-D (profundidade) ou detecção multimodal, facilitando o desenvolvimento de sistemas mais robustos para aplicações práticas de visão computacional.