Resumo Técnico: K9-Bench

Declaração do Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) demonstraram capacidades significativas de zero-shot em cenários centrados em humanos, mas sua habilidade de compreender ambientes centrados em animais permanece subexplorada. Os benchmarks existentes para compreensão de vídeo são predominantemente focados em ações humanas, pistas sociais e convenções, oferecendo uma visão limitada sobre se os modelos podem generalizar para sujeitos não humanos. Cenários centrados em animais apresentam desafios distintos, incluindo padrões de movimento únicos, diferentes pistas de interação e fontes específicas de ambiguidade. Embora trabalhos anteriores tenham compilado conjuntos de dados focados em espécies, eles frequentemente dependem de tarefas estreitas, supervisão manual ou clipes curtos, falhando em avaliar o raciocínio multimodal de longo horizonte e detalhado exigido nas interações cotidianas entre humanos e animais.

Metodologia

Construção do Conjunto de Dados: K9-Bench

Os autores introduzem o K9-Bench, um novo benchmark projetado para avaliar MLLMs em perguntas e respostas (QA) de vídeo centradas em caninos. O conjunto de dados compreende:

• 907 vídeos do mundo real de cães domésticos engajados em atividades de vida livre (ex: treinamento de obediência, rotinas domésticas, interações com humanos e outros cães).
• 4.744 pares de perguntas e respostas (QA) de múltipla escolha de cinco vias derivados desses vídeos.
• Cinco categorias de tarefas distintas fundamentadas em uma ontologia de comportamento canino curada por especialistas (desenvolvida com um treinador certificado pela KPA):
  1. Análise de Postura: Reconhecimento de poses grosseiras e pistas detalhadas (orientação das orelhas, posição da cauda, olhar).
  2. Sequência de Ação: Raciocínio temporal de curto horizonte sobre transições de ações ordenadas.
  3. Análise de Contexto: Interpretação de mudanças comportamentais em resposta a estímulos ambientais ou outros agentes.
  4. Análise de Causa-Efeito: Ligação de eventos gatilho a mudanças comportamentais subsequentes através de segmentos temporais.
  5. Análise de Interação: Interpretação de interações entre cão-humano e cão-cão via pistas não verbais.

Pipeline de Geração de Dados Escalável

Para superar as limitações da anotação manual, os autores propõem um pipeline impulsionado por VLM/LLM:

1. Curadoria de Vídeo: Um processo semiautomático minera vídeos de fontes abertas da web (YouTube) usando uma estratégia de sementes (consultas e sementes curadas), seguida de recuperação escalável via canais de upload e mecanismos de recomendação.
2. Filtragem: Um processo de filtragem de múltiplos estágios remove conteúdo irrelevante. Isso inclui filtragem baseada em texto usando Gemini-2.0-Flash, seguida de verificação humana no loop para identificar conteúdo artificial, comportamentos não naturais ou baixa qualidade. Um pipeline de rejeição refinado baseado em VLM é então treinado para automatizar a rejeição de vídeos semanticamente não relacionados com alta concordância com revisores humanos (84,3% de precisão).
3. Geração de QA: Um processo de dois estágios gera pares de QA:
   • Geração de QA Correto: VLMs (Gemini-2.5-Flash) geram perguntas e respostas corretas baseadas na entrada de vídeo e em uma Base de Conhecimento estruturada (agrupando a ontologia do especialista).
   • Geração de Distratores: Para criar respostas erradas plausíveis, o pipeline primeiro gera narrações textuais detalhadas do vídeo. Essas narrações, em vez de quadros brutos de vídeo, são usadas para estimular a geração de quatro distratores, garantindo que sejam semanticamente desafiadores, mas fundamentados no contexto do vídeo.
4. Mitigação de Viés: Para evitar que os modelos resolvam perguntas via atalhos textuais ou pistas específicas do locutor (ex: "o homem", "a mulher"), os autores implementam uma etapa de Filtragem Deaf-Blind de LLM (Cego-Surdo). Um ensemble de LLMs apenas de texto tenta responder às perguntas sem acesso ao vídeo; pares que podem ser resolvidos sem entrada visual são removidos. Adicionalmente, uma etapa de Remoção de Informação do Locutor utiliza GLM-4.5-Flash para remover identidades de locutores e referências auditivas do texto.

Configuração Experimental

O benchmark avalia uma suíte de modelos de código aberto (Qwen3-VL, InternVL) e de código fechado de fronteira (Gemini-2.5 Pro, GPT-4o, Qwen3VL-235B). As avaliações incluem:

• Precisão de MCQ: Usando similaridade de cosseno entre as respostas do modelo e as opções de verdade fundamental (ground truth).
• Avaliação Subjetiva: Usando o GPT-4o como juiz para pontuar as respostas em consistência lógica, correção factual, concisão, precisão e qualidade geral.
• Avaliação Humana: Um subconjunto de 100 pares de QA foi avaliado por anotadores humanos para estabelecer uma linha de base de desempenho.

Principais Resultados

• Desempenho Zero-Shot Limitado: MLLMs de fronteira exibem desempenho zero-shot limitado em tarefas centradas em caninos. O melhor modelo de código fechado, Gemini-2.5 Pro, atinge uma precisão de MCQ geral de 40,1%, enquanto modelos de código aberto ficam atrás (ex: InternVL-14B com 33,0%).
• Dificuldade da Tarefa: Sequência de Ação e Análise de Postura são as categorias mais desafiadoras para todos os modelos, exigindo decomposição temporal precisa de pistas detalhadas. Causa-Efeito e Análise de Interação mostram desempenho relativamente maior, provavelmente devido à disponibilidade de priors semânticos de alto nível.
• Impacto de Entradas Multimodais: Adicionar entrada de áudio ao vídeo (ex: Gemini-2.5 Pro com A+V) produz melhorias modestas (40,1% para 41,9% de precisão de MCQ), particularmente na análise de Sequência de Ação, onde o áudio fornece marcos temporais.
• Pensamento vs. Não-Pensamento: Variantes de modelos "pensantes" (Chain-of-Thought) mostram resultados mistos. Embora frequentemente melhorem as pontuações subjetivas (coerência lógica), eles não melhoram consistentemente a precisão de MCQ e às vezes degradam o desempenho ao analisar excessivamente as entradas visuais.
• Lacuna Humano vs. Modelo: Avaliadores humanos alcançam 69,9% de precisão no subconjunto, superando significativamente todos os modelos avaliados. Essa lacuna é atribuída à capacidade superior dos humanos de integrar evidências visuais e auditivas ao longo de horizontes temporais longos.
• Modos de Falha: A análise de erros revela que a Interpretação Equivocada de Pistas Observáveis (48,6% dos erros) é o modo de falha dominante, onde os modelos negligenciam pistas sutis como movimentos de orelhas ou cauda.

Significância e Alegações

O artigo afirma que o K9-Bench serve como um campo de teste desafiador para o raciocínio multimodal em ambientes compartilhados entre humanos e animais, destacando que os atuais MLLMs de última geração lutam com o raciocínio composicional sobre interações caninas sutis e temporalmente estendidas.

As principais contribuições incluem:

1. Um Novo Benchmark: Fornecendo um conjunto de dados focado especificamente em atividades e interações caninas cotidianas, indo além de clipes curtos para a compreensão de vídeo de longo formato.
2. Um Pipeline Escalável: Demonstrando uma abordagem de construção de conjuntos de dados impulsionada por VLM/LLM que pode ser adaptada para outros domínios de poucos dados, abordando questões de relevância semântica e viés de modelo.
3. Evidência Empírica: Estabelecendo que, embora os modelos possam lidar com pistas sociais grosseiras, eles carecem do aterramento temporal detalhado necessário para a análise de comportamento animal detalhada, sugerindo que o prompting de Chain-of-Thought genérico é insuficiente para esses cenários de longo horizonte.

Os autores posicionam o K9-Bench não como uma taxonomia etológica completa, mas como um framework prático para avaliar e avançar sistemas de IA destinados a viver e trabalhar ao lado de animais domésticos.