Résumé Technique : Meow-Omni 1

Énoncé du Problème

Le défi central abordé par ce travail est l'aliasing sémantique en éthologie computationnelle : le phénomène où des signaux externes identiques (par exemple, un ronronnement de chat) correspondent à des états internes fondamentalement différents (par exemple, le contentement versus la douleur) selon le contexte physiologique. Les modèles de langage multimodaux de grande taille (MLLM) existants sont largement « aveugles » aux données de séries temporelles (TS) biologiques haute fréquence. Par conséquent, ils reposent sur un appariement de motifs comportementaux superficiels (prévision de la prochaine trame vidéo ou de la contour de la hauteur tonale) plutôt que sur un véritable raisonnement d'état latent. Les architectures actuelles échouent à ancrer nativement les signaux visuels et auditifs dans la réalité physiologique, ce qui entraîne une ambiguïté dans l'inférence de l'intention.

Méthodologie

1. Architecture : Intégration Quad-Modale Native

Meow-Omni 1 est le premier MLLM open-source conçu pour fusionner nativement quatre flux de données : texte, vidéo, audio et séries temporelles biologiques.

• Squelette (Backbone) : Construit sur l'architecture MiniCPM-o 4.5.
• Chirurgie du Modèle : Les auteurs effectuent des « greffes » pour accommoder les biométries félins :
  • Expansion du Vocabulaire : Trois jetons de contrôle (<|ts_start|>, <|ts_unit|>, <|ts_end|>) sont ajoutés au tokenizer.
  • Encodeurs Spécialisés : Un encodeur de séries temporelles dédié est intégré à partir de Intern-S1 Pro, un modèle fondamental multimodal scientifique.
  • Couche de Projection : Un projecteur linéaire personnalisé mappe les caractéristiques biologiques extraites dans l'espace d'embedding joint du LLM, permettant au modèle de traiter les données physiologiques comme des jetons de langage natifs plutôt que comme des lectures de capteurs disparates.
• Passage Avant (Forward Pass) : Le modèle traite des séquences de longueur variable contenant n'importe quel sous-ensemble de modalités (V, A, TS, Texte), entrelaçant les embeddings TS avec les jetons visuels et linguistiques au sein d'un bloc transformateur causal unifié.

2. Cadre Théorique

Les auteurs formalisent l'intention animale ($I$) en utilisant les modèles causaux structurels de Pearl. L'intention est définie non pas comme une simple étiquette de classification, mais comme une pulsion biologique et cognitive latente qui maximise la probabilité d'une action future spécifique sous une intervention hypothétique de « libre choix » ($do(E_{free})$). Cette approche découple la véritable intention de l'animal des contraintes environnementales (par exemple, une cage ou la présence d'un manipulateur) qui pourraient supprimer ou altérer le comportement observable.

3. Pipeline d'Entraînement

L'entraînement suit un processus en deux étapes pour assurer la stabilité des modalités :

• Étape 1 (Alignement du Projecteur) : Le projecteur TS est pré-entraîné sur 383 853 échantillons TS étiquetés (en utilisant une stratégie de Prédiction du Prochain Comportement) tandis que le squelette LLM et l'encodeur TS restent figés. Cela aligne les caractéristiques biométriques avec l'espace latent linguistique.
• Étape 2 (Spécialisation Multimodale) : Le modèle est affiné sur le jeu de données Meow-10K (10 831 échantillons) en utilisant uniquement le squelette LLM. Ce jeu de données comprend des combinaisons de modalités diverses (par exemple, V+A, V+TS, A+TS, et quad-modale complète) pour enseigner au modèle à raisonner à partir de n'importe quel sous-ensemble de flux disponible.

4. Jeux de Données et Références

• Meow-10K : Un jeu de données d'entraînement comprenant 10 831 échantillons dérivés de multiples sources (données d'accéléromètre, clips vidéo, enregistrements audio et paires synchronisées). Il présente des paires requête-réponse en langage naturel et des étiquettes issues d'une taxonomie unifiée d'intention à 30 classes.
• MeowBench : Une nouvelle référence d'évaluation vérifiée par des experts contenant 527 échantillons haute fidélité. Étant donné que les données quad-modales naturellement synchronisées sont rares, les échantillons ont été synthétisés en faisant correspondre des données unimodales (vidéo-audio et TS) partageant la même étiquette d'intention, vérifiées par des éthologistes félins professionnels. La référence utilise un format de Question à Choix Multiple (QCM) pour tester la précision discriminative.

Contributions Clés

1. Architecture Meow-Omni 1 : Le premier MLLM natif unifiant les modalités visuelles, auditives et de séries temporelles biologiques pour un raisonnement comportemental conjoint.
2. Jeu de Données Meow-10K : Un jeu de données diversifié et multi-sources de plus de 10 000 échantillons félins couvrant diverses combinaisons de modalités avec des descriptions en langage naturel.
3. MeowBench : La première référence spécifiquement conçue pour évaluer les MLLMs sur le raisonnement inter-modal entre biométries, vision et audio pour le décodage d'intention.
4. Cadre d'IA Éthologique Open Source : Un pipeline open-source complet (poids du modèle, code d'entraînement et données) démontrant comment les modèles fondamentaux peuvent être adaptés pour des espèces non humaines.

Résultats

Évalué sur MeowBench, Meow-Omni 1 a atteint une précision Top-1 de 71,16 %, surpassant toutes les références :

• Références Unimodales : Il a nettement surpassé les modèles spécialisés acoustiques (36,86 %), vidéo (61,95 %) et TS (48,98 %).
• Références Multimodales : Il a dépassé le modèle omni-modal généraliste de premier plan, Qwen3.5-Omni-Plus (66,89 % avec V+A+TS), qui traite les signaux non linguistiques avec des encodeurs génériques.
• Étude d'Ablation : L'inclusion de données TS biologiques a fourni le gain de performance le plus significatif. Alors que la Vision seule a atteint 69,97 %, l'ajout de TS (V+TS) a porté la performance à 70,82 %, et l'intégration quad-modale complète a atteint 71,16 %. Cela confirme que les marqueurs biologiques aident à résoudre l'aliasing sémantique inhérent aux affichages purement visuels ou auditifs.
• Quantification de l'Incertitude : En utilisant l'échantillonnage par température, le modèle a démontré sa capacité à détecter des modalités conflictuelles. Sur des données congruentes, l'entropie prédictive était faible (1,28 bits), indiquant une haute confiance. Sur des données de conflit adversaire (où les indices visuels suggéraient le contentement mais que les TS indiquaient la douleur), l'entropie a augmenté brusquement (3,15 bits), indiquant que le modèle a correctement identifié l'ambiguïté plutôt que de se rabattre sur la modalité la plus forte.

Signification et Revendications

L'article revendique que Meow-Omni 1 établit un paradigme évolutif pour la compréhension de l'intention inter-espèces. Sa signification principale réside dans :

• Résolution de l'Aliasing Sémantique : Démontrer que la véritable compréhension sémantique du comportement animal nécessite d'ancrer les données observationnelles dans la réalité physiologique, allant au-delà de l'appariement de motifs superficiels.
• Utilité Clinique et de Conservation : Fournir un outil pratique pour le diagnostic vétérinaire (par exemple, détection de la douleur occulte) et la conservation de la faune en comblant le fossé sensoriel au sein des modèles fondamentaux.
• Sécurité et Interprétabilité : Introduire un mécanisme de quantification de l'incertitude permettant au système de signaler les états ambigus, en renvoyant la décision à des experts humains dans des scénarios à haut risque.

Les auteurs positionnent ce travail comme une étape fondamentale vers les diagnostics vétérinaires et la recherche éthologique de nouvelle génération, conçu initialement pour les chats domestiques (Felis catus) mais destiné à servir de modèle pour une communication inter-espèces plus large.