CD-RMOT-Bench: Benchmarking the Cross-Domain Referring Multi-Object Tracking

Resumo Técnico: CD-RMOT-Bench: Avaliando o Rastreamento de Múltiplos Objetos com Referência em Domínios Cruzados (Cross-Domain Referring Multi-Object Tracking)

1. Definição do Problema

O artigo aborda o Rastreamento de Múltiplos Objetos com Referência em Domínios Cruzados (CD-RMOT), um problema novo e desafiador que estende o Rastreamento de Múltiplos Objetos com Referência (RMOT) para cenários que envolvem mudanças significativas de domínio visual. Enquanto o RMOT padrão visa localizar e rastrear objetos específicos com base em expressões de linguagem natural dentro de uma única distribuição visual (dentro do domínio), o CD-RMOT avalia se um modelo treinado em um domínio de origem rotulado pode seguir confiavelmente expressões de linguagem em um domínio de destino não rotulado com diferentes condições visuais (ex: mudanças de clima, mudanças de perspectiva ou lacunas entre sintético e real).

O desafio central identificado é que as mudanças de domínio não apenas degradam a detecção de objetos; elas desestabilizam criticamente os processos de associação temporal e seleção de alvo condicionados à linguagem. Os modelos de RMOT existentes frequentemente falham em manter a fidelidade semântica quando a distribuição visual subjacente muda, levando à seleção de trajetórias que são visualmente plausíveis, mas inconsistentes com a expressão de referência.

2. Metodologia

A. CD-RMOT-Bench (O Benchmark)
Para permitir um estudo sistemático, os autores constroem o CD-RMOT-Bench, um benchmark unificado que integra três recursos complementares sob um protocolo de avaliação compartilhado:

• Refer-KITTI-V2: Serve como a âncora de domínio claro real, fornecendo expressões de linguagem natural e trajetórias de cenas de direção reais.
• Refer-vKITTI: O núcleo de gêmeo digital controlado. É construído mapeando as anotações do Refer-KITTI-V2 para cenas alinhadas do Virtual KITTI 2. Este processo envolve:
  • Mapeamento de identidade por cena: Estabelecimento de correspondências um-para-um entre objetos reais e sintéticos baseadas em consistência geométrica e sobreposição temporal.
  • Transferência de anotação: Preservação da expressão de linguagem natural enquanto se reescrevem os IDs dos alvos e os nomes dos vídeos para corresponder ao domínio sintético.
  • Controle de qualidade residual: Filtragem de casos ambíguos e garantia de visibilidade do alvo.
  • Cobertura: Suporta 10 domínios controlados (limpo, chuva, névoa, manhã, nublado, pôr do sol e três mudanças de perspectiva: 15° L/R, 30° L/R).
• Refer-BDD: Uma âncora de domínio adverso real baseada no BDD100K, fornecendo variações de domínio realistas (ex: clima adverso) para avaliação de transferência de sintético-para-real e real-para-sintético.

O benchmark suporta quatro modos de avaliação: transferência de clima, transferência de perspectiva, transferência de sintético-para-real e transferência de real-para-sintético.

B. QCA (Adaptação Centrada na Query)
Os autores propõem o QCA, um framework de adaptação de referência projetado para estabilizar o espaço de consulta (query space) que faz a ponte entre trajetórias visuais e expressões de referência. O QCA opera nas queries temporais de objetos produzidas por um backbone de RMOT compartilhado e introduz três mecanismos para abordar modos de falha específicos:

1. Cross-Domain Temporal Mean Teacher (CDT-MT): Aborda a instabilidade da query-alvo impondo consistência entre um modelo estudante e um modelo professor de Média Móvel Exponencial (EMA) em queries confiáveis do domínio de destino.
2. Adaptive Curricular Domain Adversarial (ACDA): Alinha representações de query de origem e destino relevantes para a tarefa usando aprendizado adversarial de domínio. Foca em queries com alta "relevância para a tarefa" (produto de objetidade e logits de referência) e utiliza a divisão origem/destino como rótulos de domínio naturais.
3. Language-Guided Continuous Adaptation (LGCA): Mitiga o desvio semântico condicionado pela linguagem. Utiliza a expressão de referência como uma âncora semântica (via embedding de texto agrupado) para refinar as características da query, garantindo que as trajetórias selecionadas permaneçam consistentes com a entrada de linguagem ao longo do tempo.

A função de perda total combina a perda de RMOT supervisionada do domínio de origem com perdas de consistência, adversariais e de adaptação guiada pela linguagem.

3. Principais Resultados

Experimentos extensos no CD-RMOT-Bench produzem as seguintes descobertas:

• Degradação Severa de Desempenho: Mudanças de domínio causam quedas significativas no desempenho do RMOT. Por exemplo, no cenário controlado de vKITTI clear → fog, o HOTA do modelo de estado da arte TempRMOT cai de 28.69 (dentro do domínio) para 16.00.
• Análise da Causa Raiz: A degradação não se deve apenas a erros de detecção (quedas em DetA), mas é impulsionada de forma mais crítica por falhas na associação temporal e na seleção de alvo (quedas em AssA). Os modelos selecionam trajetórias que são visualmente plausíveis, mas semanticamente inconsistentes com a query de linguagem.
• Limitações de Métodos Existentes: Baselines adaptados de Segmentação de Objeto de Vídeo com Referência (RVOS) (ex: MUTR, ReferDINO) apresentam desempenho insatisfatório sob o protocolo de trajetória de RMOT, indicando que a segmentação baseada em máscara não resolve diretamente o problema de rastreamento consciente de identidade sob mudança de domínio.
• Eficácia do QCA: O framework QCA proposto estabelece uma base sólida, recuperando significativamente o desempenho em todas as configurações de transferência (clima, perspectiva, sintético-real). Por exemplo, em vKITTI clear → fog, o QCA atinge um HOTA de 21.37 comparado aos 16.00 do TempRMOT. No entanto, o desempenho permanece abaixo da referência dentro do domínio, destacando a dificuldade do problema.

4. Significância e Contribuições

O artigo reivindica as seguintes contribuições:

• Pioneirismo do Problema: Introduz o CD-RMOT como um novo problema crítico, destacando a necessidade de rastreamento visual-linguístico robusto sob mudanças de domínio, uma lacuna amplamente negligenciada pelos estudos de RMOT de domínio único existentes.
• Construção de Benchmark: Apresenta o CD-RMOT-Bench, o primeiro benchmark unificado para CD-RMOT. Seu valor único reside na combinação de variações de gêmeo digital controladas (isolando efeitos de clima/perspectiva) com transferência realista de sintético-real, permitindo um desmembramento principiado dos efeitos de mudança de domínio das mudanças de conteúdo semântico.
• Baseline Metodológico: Fornece o QCA, um framework de adaptação centrado na query que demonstra a necessidade de estabilizar as queries condicionadas pela linguagem. Os resultados validam que pesquisas futuras devem abordar conjuntamente a estabilidade da query, o alinhamento de domínio e a correção guiada pela linguagem.

Os autores concluem que, embora o QCA ofereça uma base sólida, as lacunas substanciais de desempenho que permanecem no CD-RMOT-Bench indicam que o rastreamento robusto guiado por linguagem através de domínios visuais continua sendo uma direção aberta e desafiadora para a comunidade.