Resumo Técnico: Meow-Omni 1

Declaração do Problema

O desafio central abordado por este trabalho é o aliasing semântico na etologia computacional: o fenômeno onde sinais externos idênticos (por exemplo, um ronronar de gato) correspondem a estados internos fundamentalmente diferentes (por exemplo, contentamento versus dor) dependendo do contexto fisiológico. Os Modelos de Linguagem Grandes Multimodais (MLLMs) existentes são amplamente "cegos" a dados de séries temporais (ST) biológicas de alta frequência. Consequentemente, eles dependem de correspondência superficial de padrões comportamentais (previsão do próximo quadro de vídeo ou contorno de pitch) em vez de raciocínio genuíno sobre estados latentes. Arquiteturas atuais falham em ancorar nativamente sinais visuais e auditivos na realidade fisiológica, levando a ambiguidade na inferência de intenção.

Metodologia

1. Arquitetura: Integração Nativa Quad-Modal

O Meow-Omni 1 é o primeiro MLLM de código aberto projetado para fundir nativamente quatro fluxos de dados: texto, vídeo, áudio e séries temporais biológicas.

• Backbone: Construído sobre a arquitetura MiniCPM-o 4.5.
• Cirurgia do Modelo: Os autores realizam "transplantes" para acomodar biometria felina:
  • Expansão de Vocabulário: Três tokens de controle (<|ts_start|>, <|ts_unit|>, <|ts_end|>) são adicionados ao tokenizador.
  • Codificadores Especializados: Um codificador dedicado de séries temporais é integrado a partir do Intern-S1 Pro, um modelo fundamental multimodal científico.
  • Camada de Projeção: Um projetor linear personalizado mapeia características biológicas extraídas para o espaço de incorporação conjunta do LLM, permitindo que o modelo trate dados fisiológicos como tokens de linguagem nativos, em vez de leituras de sensores dispersas.
• Passagem Direta: O modelo processa sequências de comprimento variável contendo qualquer subconjunto de modalidades (V, A, ST, Texto), intercalando incorporações de ST com tokens visuais e linguísticos dentro de um bloco transformador causal unificado.

2. Framework Teórico

Os autores formalizam a intenção animal ($I$) usando modelos causais estruturais de Pearl. A intenção é definida não como um simples rótulo de classificação, mas como um impulso biológico e cognitivo latente que maximiza a probabilidade de uma ação futura específica sob uma intervenção hipotética de "livre-escolha" ($do(E_{free})$). Esta abordagem desacopla a verdadeira intenção do animal das restrições ambientais (por exemplo, uma gaiola ou presença de manipulador) que podem suprimir ou alterar o comportamento observável.

3. Pipeline de Treinamento

O treinamento segue um processo de duas etapas para garantir estabilidade modal:

• Etapa 1 (Alinhamento do Projetor): O projetor de ST é pré-treinado em 383.853 amostras de ST rotuladas (usando uma estratégia de Previsão de Próximo Comportamento) enquanto o backbone do LLM e o codificador de ST permanecem congelados. Isso alinha características biométricas com o espaço latente linguístico.
• Etapa 2 (Especialização Multimodal): O modelo é ajustado finamente no conjunto de dados Meow-10K (10.831 amostras) usando apenas o backbone do LLM. Este conjunto de dados inclui combinações diversas de modalidades (por exemplo, V+A, V+ST, A+ST e quad-modal completo) para ensinar o modelo a raciocinar a partir de qualquer subconjunto disponível de fluxos.

4. Conjuntos de Dados e Benchmarks

• Meow-10K: Um conjunto de dados de treinamento composto por 10.831 amostras derivadas de múltiplas fontes (dados de acelerômetro, clipes de vídeo, gravações de áudio e pares sincronizados). Apresenta pares de consulta-resposta em linguagem natural e rótulos de uma taxonomia unificada de intenção de 30 classes.
• MeowBench: Um novo benchmark de avaliação verificado por especialistas contendo 527 amostras de alta fidelidade. Como dados quad-modais naturalmente sincronizados são escassos, as amostras foram sintetizadas combinando dados unimodais (vídeo-áudio e ST) que compartilham o mesmo rótulo de intenção, verificados por etologistas felinos profissionais. O benchmark usa um formato de Questão de Múltipla Escolha (MCQ) para testar a precisão discriminativa.

Contribuições Principais

1. Arquitetura Meow-Omni 1: O primeiro MLLM nativo a unificar modalidades visuais, auditivas e de séries temporais biológicas para raciocínio comportamental conjunto.
2. Conjunto de Dados Meow-10K: Um conjunto de dados diversificado e multissource de mais de 10.000 amostras felinas abrangendo combinações variadas de modalidades com descrições em linguagem natural.
3. MeowBench: O primeiro benchmark especificamente projetado para avaliar MLLMs no raciocínio cross-modal entre biometria, visão e áudio para decodificação de intenção.
4. Framework de IA Etológica Aberto: Um pipeline completo de código aberto (pesos do modelo, código de treinamento e dados) demonstrando como modelos fundamentais podem ser adaptados para espécies não humanas.

Resultados

Avaliado no MeowBench, o Meow-Omni 1 alcançou uma precisão Top-1 de 71,16%, superando todas as linhas de base:

• Linhas de Base Unimodais: Superou significativamente modelos especializados em acústica (36,86%), vídeo (61,95%) e ST (48,98%).
• Linhas de Base Multimodais: Superou o principal modelo omni-modal de propósito geral, Qwen3.5-Omni-Plus (66,89% com V+A+ST), que trata sinais não linguísticos com codificadores genéricos.
• Estudo de Ablação: A inclusão de dados de ST biológicos forneceu o ganho de desempenho mais significativo. Enquanto a Visão sozinha alcançou 69,97%, adicionar ST (V+ST) impulsionou o desempenho para 70,82%, e a integração quad-modal completa atingiu 71,16%. Isso confirma que marcadores biológicos ajudam a resolver o aliasing semântico inerente a exibições puramente visuais ou auditivas.
• Quantificação de Incerteza: Usando amostragem por temperatura, o modelo demonstrou a capacidade de detectar modalidades conflitantes. Em dados congruentes, a entropia preditiva foi baixa (1,28 bits), indicando alta confiança. Em dados de conflito adversarial (onde pistas visuais sugeriam contentamento, mas ST indicava dor), a entropia aumentou abruptamente (3,15 bits), indicando que o modelo identificou corretamente a ambiguidade em vez de recorrer à modalidade mais forte.

Significado e Alegações

O artigo afirma que o Meow-Omni 1 estabelece um paradigma escalável para compreensão de intenção entre espécies. Seu significado principal reside em:

• Resolução de Aliasing Semântico: Demonstrar que a verdadeira compreensão semântica do comportamento animal requer ancorar dados observacionais na realidade fisiológica, indo além da correspondência superficial de padrões.
• Utilidade Clínica e de Conservação: Fornecer uma ferramenta prática para diagnósticos veterinários (por exemplo, detecção de dor oculta) e conservação da vida selvagem, ao conectar a divisão sensorial dentro de modelos fundamentais.
• Segurança e Interpretabilidade: Introduzir um mecanismo para quantificação de incerteza que permite ao sistema sinalizar estados ambíguos, deferindo a especialistas humanos em cenários de alto risco.

Os autores posicionam este trabalho como um passo fundamental rumo a diagnósticos veterinários e pesquisa etológica de próxima geração, projetado inicialmente para gatos domésticos (Felis catus), mas destinado como um modelo para comunicação interespécie mais ampla.