MTT-Bench: Predicting Social Dominance in Mice via Multimodal Large Language Models

Resumo Técnico: MTT-Bench: Predição de Dominância Social em Camundongos via Modelos de Linguagem Multimodais de Grande Escala (MLLMs)

1. O Problema

A compreensão da hierarquia de dominância social em animais é fundamental para a neurociência e estudos comportamentais, servindo como modelo para entender funções cognitivas e transtornos psiquiátricos humanos. Tradicionalmente, a análise do "teste do tubo" (onde dois camundongos interagem em um tubo estreito e o que força o outro a recuar é considerado dominante) exige observação manual ou sistemas de rastreamento de pose (como DeepLabCut) que dependem de engenharia de características manuais e heurísticas específicas do domínio. O desafio reside em encontrar métodos que possam interpretar interações comportamentais complexas e não estruturadas de forma automática, escalável e sem a necessidade de modelos especializados para cada tarefa.

2. Metodologia

Os autores propõem o MTT-Bench (Mouse-Tube-Test-Benchmark), um novo conjunto de dados e protocolo de avaliação.

• Dataset: O benchmark consiste em vídeos de interações de pares de camundongos. Foram utilizados 11 grupos de experimentos, totalizando 44 vídeos de treinamento e 14 de teste. Para aumentar a robustez, aplicou-se aumento de dados (data augmentation), expandindo o dataset em 8 vezes através de técnicas como flip, ajustes de brilho (grayscale) e rotação.
• Métodos de Predição: O estudo avalia duas abordagens principais para utilizar os MLLMs:
  1. Aprendizado Zero-Shot (ZSL): O modelo recebe frames dos vídeos de treinamento e é questionado via prompts de linguagem natural sobre a "pontuação de personalidade" (traços de dominância) de cada camundongo. Com base nessas pontuações, o modelo deve prever quem venceria o teste do tubo.
  2. Agrupamento K-means (K-means Clustering): Uma abordagem não supervisionada onde os MLLMs são usados para extrair embeddings (vetores de características) de alta dimensão dos vídeos. Os vídeos de camundongos dominantes e submissivos são agrupados para criar "protótipos de comportamento". A predição é feita calculando a distância euclidiana entre os embeddings dos camundongos em teste e os centros desses protótipos.
• Baseline Humano: Para validação, 30 indivíduos sem conhecimento prévio do estudo assistiram aos vídeos e realizaram previsões para servir de comparação.

3. Principais Contribuições

• MouseRank: Um novo benchmark multimodal que vincula vídeos de interações naturais com rótulos de dominância validados pelo teste do tubo.
• Framework de Fine-tuning e Zero-shot: Uma estrutura para aplicar modelos de fundação (generalistas) em tarefas de etologia (estudo do comportamento animal) com capacidade de generalização.
• Nova Perspectiva Científica: Demonstra que modelos de linguagem multimodais podem internalizar conceitos etológicos complexos (como hierarquia social) sem treinamento supervisionado direto para essa tarefa específica.

4. Resultados

Os resultados mostram uma disparidade significativa entre os modelos testados (Tabela I):

• Desempenho Superior (InternVL): A série InternVL3 superou todos os outros modelos. O InternVL3-2B obteve a maior precisão média (76,14%) usando o método Zero-shot. O modelo de maior escala (8B) foi mais "conservador", muitas vezes respondendo com incerteza quando os sinais eram sutis.
• Desempenho Inferior (GPT e BLIP-2): O GPT-4o e o GPT-4-turbo apresentaram resultados insatisfatórios (acima de 20%), falhando em analisar o conteúdo de vídeo ou sendo incapazes de fornecer pontuações comportamentais precisas. O BLIP-2 (44,32%) ficou abaixo da precisão humana.
• Comparação com Humanos: O método Zero-shot com InternVL superou significativamente os agentes humanos (51,44%).
• K-means vs. Zero-shot: O método K-means (usado no InternVL3-1B) obteve 54,17%. Embora seja mais eficiente para processar grandes volumes de frames (até 256 frames por vídeo), ele é inferior ao Zero-shot por não possuir a capacidade de raciocínio semântico e contextual que o prompt de linguagem oferece.

5. Significância

Este trabalho estabelece um novo caminho para a Etologia Computacional. Ele prova que modelos de fundação multimodais, projetados para tarefas gerais (como descrever imagens ou conversar), podem ser reaproveitados para entender a cognição social animal. Isso reduz a dependência de modelos de visão computacional altamente especializados e caros de treinar, abrindo portas para uma análise de comportamento animal mais objetiva, escalável e automatizada em larga escala.