Resumo Técnico: MRBench

Declaração do Problema

Os atuais benchmarks de recuperação de movimento humano-texto, primariamente o HumanML3D e o KIT-ML, sofrem de limitações críticas que dificultam a avaliação confiável do alinhamento cross-modal. Esses conjuntos de dados são dominados por cenários homogêneos de captura de movimento (MoCap) em ambientes internos, resultando em distribuições de movimento estreitas e desequilibradas (por exemplo, "caminhar" constitui uma parte significativa das amostras). Além disso, as descrições textuais nesses benchmarks são frequentemente simplificadas demais, repetitivas e carecem de discriminabilidade semântica. Um único prompt de texto frequentemente mapeia para centenas de instâncias de movimento distintas, criando "colisões de texto" onde métricas de recuperação padrão (como Recall@K) falham em distinguir entre um modelo que recupera um movimento válido versus um que recupera um movimento igualmente válido, mas semanticamente redundante. Consequentemente, os benchmarks existentes não conseguem avaliar efetivamente a generalização cross-domain ou a sensibilidade dos modelos a diferentes níveis de granularidade textual (de resumos concisos a descrições detalhadas).

Metodologia

1. Construção do MRBench

Os autores introduzem o MRBench, um benchmark abrangente construído através de um rigoroso pipeline de curadoria de dados em múltiplos estágios baseado no corpus ViMoGen-228K. O pipeline consiste em quatro estágios:

• Filtragem de Candidatos Guiada por Texto: A filtragem baseada em regras remove expressões genéricas e repetitivas. Modelos de Linguagem de Grande Escala (LLMs) pontuam as legendas restantes quanto à discriminabilidade semântica e compacidade, filtrando detalhes não cinemáticos (ex: descrições excessivas de cena ou objetos) que distraem do alinhamento do movimento.
• Amostragem Balanceada Guiada por Taxonomia: Os candidatos são organizados em uma taxonomia hierárquica (7 categorias grosseiras, 33 médias, 118 detalhadas). A amostragem estratificada garante cobertura balanceada entre as categorias, enquanto a deduplicação semântica regula a uniformidade.
• Alinhamento Semântico e Desambiguação: Um Alinhamento Semântico Estruturado (SSAE) usando modelos de visão-linguagem avançados (ex: Gemini-3-pro-preview) verifica se o movimento principal descrito no texto é observável nos frames de vídeo correspondentes. Este passo garante pares movimento-texto inequívocos. Categorias sub-representadas são suplementadas usando movimentos sintetizados (HY-Motion) baseados em scripts gerados por LLM.
• Expansão de Texto Multi-granular: Usando reescrita visualmente fundamentada, cada movimento é anotado com três níveis de granularidade de texto: Conciso (semântica condensada), Padrão (descrição equilibrada) e Detalhado (dinâmica detalhada de partes do corpo e temporal). Estes são validados manualmente para garantir consistência com o movimento observado.

Estatísticas do Conjunto de Dados: O MRBench contém 3.390 sequências de movimento cobrindo 118 categorias detalhadas. As fontes de dados são heterogêneas: 43,8% MoCap, 26,5% vídeo in-the-wild, 22,7% vídeo sintético e 7,0% movimentos gerados. Isso resulta em 10.170 legendas no total.

2. Modelo de Recuperação Sensível à Granularidade

Para abordar a sensibilidade dos modelos de recuperação à granularidade da consulta, os autores propõem um modelo leve, sensível à granularidade:

• Âncora Base: Um modelo de codificador duplo (codificadores de movimento e texto com cabeças de projeção global) é primeiro treinado em pares de legendas padrão e depois congelado para servir como uma âncora de alinhamento global.
• Módulos Específicos de Granularidade: Para granularidades não-padrão (Conciso e Detalhado), módulos leves são introduzidos:
  • Extratores de Movimento: Vetores de consulta aprendíveis realizam o pooling de atenção sobre os tokens de movimento para extrair representações específicas de granularidade.
  • Adaptadores de Texto: Adaptadores de projeção específicos de granularidade mapeiam os embeddings de texto para o espaço de recuperação compartilhado.
• Pseudo-Supervisão: O conjunto de treinamento é expandido com legendas concisas e detalhadas reescritas por LLM (geradas pelo Qwen2.5-7B-Instruct) para servir como pseudo-rótulos para o treinamento desses módulos específicos.
• Estratégia de Inferência: Durante a inferência, a granularidade do texto dita o ramo ativo. Para consultas não-padrão, um mecanismo de fusão de escore sensível à granularidade integra o escore de similaridade global com o escore de similaridade adaptado. Esta fusão mantém a comparabilidade de escores entre diferentes níveis de descrição sem exigir legendas padrão no momento da inferência.

Principais Contribuições

1. Benchmark MRBench: O primeiro benchmark de grande escala e múltiplas fontes especificamente adaptado para a recuperação abrangente de movimento humano-texto. Ele apresenta distribuições de movimento heterogêneas e suporta nativamente a avaliação cross-granularidade (Conciso, Padrão, Detalhado).
2. Pipeline de Curadoria de Dados: Um pipeline de múltiplos estágios combinando filtragem baseada em regras, amostragem balanceada guiada por taxonomia, avaliação semântica cross-modal e reescrita multi-granular com validação humana para garantir alinhamentos de alta qualidade e inequívocos.
3. Modelo Sensível à Granularidade: Uma arquitetura de recuperação que congela um codificador duplo alinhado a legendas padrão enquanto utiliza legendas reescritas por LLM para supervisionar extratores e adaptadores específicos de granularidade. Este design melhora o desempenho em consultas não-padrão preservando o desempenho da âncora de legenda padrão.

Resultados Experimentais

Avaliações extensas no MRBench revelam lacunas significativas nos métodos existentes:

• Lacuna de Generalização: Modelos treinados em conjuntos de dados homogêneos (como o HumanML3D) exibem quedas substanciais de desempenho quando avaliados no MRBench, indicando que o sucesso in-domain não garante robustez a diversas fontes de movimento.
• Sensibilidade à Granularidade: Os baselines atuais (TEMOS, TMR, MoPatch, SGAR) mostram uma sensibilidade pronunciada à granularidade da consulta, com o desempenho degradando significativamente para consultas concisas e detalhadas em comparação com as padrões.
• Desempenho do Modelo: O modelo proposto, sensível à granularidade, construído sobre a âncora do MoPatch, melhora com sucesso o desempenho de recuperação para consultas detalhadas e de granularidade mista (Texto-para-Movimento e Movimento-para-Texto) sem comprometer o desempenho da legenda padrão.
• Transferência Cross-Dataset: Modelos treinados no corpus MRBench-Train (40.168 pares) alcançam o desempenho geral mais forte, sugerindo que uma cobertura de movimento mais ampla e anotações orientadas à recuperação são mais benéficas para o alinhamento robusto do que apenas a escala bruta de dados.

Significância

O artigo postula que o MRBench fornece um testbed necessário e abrangente para o avanço da avaliação de alinhamento movimento-linguagem. Ao expor as limitações dos benchmarks atuais — especificamente sua incapacidade de lidar com fontes de movimento heterogêneas e texto multi-granular — os autores argumentam que o progresso confiável neste campo requer uma mudança para protocolos de avaliação diversos, balanceados e discriminativos. O modelo proposto sensível à granularidade demonstra que a robustez a descrições não-padrão pode ser alcançada sem sacrificar as capacidades de alinhamento estabelecidas, oferecendo uma base prática para o desenvolvimento de sistemas movimento-linguagem que generalizam além de datasets estreitos e estilos de legenda fixos.