🧬 biology

Meow-Omni 1: A Multimodal Large Language Model for Feline Ethology

Het artikel introduceert Meow-Omni 1, een nieuw open-source quad-modaal groot taalmodel dat video, audio, fysiologische tijdreeksen en tekst combineert om state-of-the-art herkenning van kattenintenties te bereiken door de uitdaging van semantische aliasing in de analyse van dierlijk gedrag aan te pakken.

Oorspronkelijke auteurs: Jucheng Hu, Zhangquan Chen, Yulin Chen, Chengjie Hong, Liang Zhou, Tairan Wang, Sifei Li, Giulio Zhu, Feng Zhou, Yiheng Zeng, Suorong Yang, Dongzhan Zhou

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jucheng Hu, Zhangquan Chen, Yulin Chen, Chengjie Hong, Liang Zhou, Tairan Wang, Sifei Li, Giulio Zhu, Feng Zhou, Yiheng Zeng, Suorong Yang, Dongzhan Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Het Grote Probleem: Het "Kattenfluisteraar"-Dilemma

Stel je voor dat je probeert te raden waar je kat over denkt. Je ziet hem spinnen. Is hij blij? Of heeft hij pijn en probeert hij zichzelf te troosten?

Het Probleem: Het paper noemt dit "Semantische Aliasering". Het is alsof een woord twee volledig tegenovergestelde betekenissen heeft, afhankelijk van de context. Een spinnen kan betekenen "Ik hou van je" of "Ik ben verschrikkelijk bang", en alleen naar het gezicht van de kat kijken (video) of naar het geluid luisteren (audio) is vaak niet genoeg om het verschil te zien.
De Oude Manier: Vorige AI-modellen waren als detectives die alleen naar foto's keken of naar opnames luisterden. Ze waren "blind" voor de interne lichaamssignalen van de kat. Ze konden de actie raden (bijvoorbeeld "rennen"), maar ze konden de intentie niet raden (bijvoorbeeld "rennen omdat hij bang is" versus "rennen omdat hij speelt").

De Oplossing: Meow-Omni 1

De onderzoekers bouwden Meow-Omni 1, een nieuw type AI-brein dat specifiek is ontworpen om katten te begrijpen. Denk hierbij aan een super-intern op een veterinair instituut die niet alleen kijkt en luistert, maar ook een directe lijn heeft naar de hartslag en bewegingssensoren van de kat.

Hier is hoe het werkt, met eenvoudige analogieën:

1. De Vier Zintuigen (Quad-Modaal)

De meeste AI-modellen hebben slechts twee of drie "zintuigen". Meow-Omni 1 heeft er vier, wat het paper Quad-Modaal noemt:

Ogen (Video): Kijken hoe de kat beweegt.
Oren (Audio): Luisteren naar miauwen en spinnen.
Stem (Tekst): Beschrijvingen lezen en vragen stellen.
Het "Interne Zintuig" (Biologische Tijdsreeksen): Dit is het magische ingrediënt. Het leest hoogwaardige data van sensoren (zoals een smartwatch voor katten) die hartslag, versnelling en lichaamstrillingen volgen.
- Analogie: Als een menselijke detective een verdachte ziet rennen, denkt hij misschien "hij is te laat". Maar als ze ook een hartmonitor hebben die laat zien dat het hart van de verdachte op 180 slagen per minuut slaat, beseffen ze: "Hij wordt achtervolgd." Meow-Omni 1 gebruikt dit "interne zintuig" om het mysterie van de spinnende kat op te lossen.

2. De Hersenoperatie (Architectuur)

De onderzoekers bouwden geen brein van scratch; ze voerden "chirurgie" uit op een bestaande slimme AI (MiniCPM-o).

De Transplantatie: Ze namen een gespecialiseerde "tijdsreeks-encoder" (een tool die goed is in het lezen van sensordata uit een ander project genaamd Intern-S1 Pro) en graften deze in de katten-AI.
De Vertaler: Ze bouwden een speciale "projectielaag" die fungeert als vertaler. Deze neemt de ruwe, snelle getallen van de sensoren van de kat en zet ze om in een taal die het brein van de AI kan begrijpen, net zoals een videospelkarakter een vreemde taal vertaalt naar het Engels.

3. De Training (Leren Denken)

De AI heeft niet alleen feiten uit het hoofd geleerd; het heeft leren redeneren.

De Dataset (Meow-10K): Ze voerden de AI 10.831 voorbeelden van katten. Elk voorbeeld bevatte een mix van video, geluid en sensordata, gekoppeld aan een uitleg van een menselijk expert over wat de kat eigenlijk voelde.
Het Doel: In plaats van alleen maar te raden "De kat springt", werd de AI getraind om de intentie te raden: "De kat springt omdat hij speelt."
De Test (MeowBench): Om te zien of het werkte, creëerden ze een test genaamd MeowBench. Het is als een meerkeuzetoets waarbij de AI naar de data van een kat moet kijken en de juiste reden voor zijn gedrag moet kiezen uit een lijst met opties.

De Resultaten: Werkte Het?

Ja, en het was een groot nieuws.

De Score: Meow-Omni 1 behaalde 71,16% nauwkeurigheid op de test.
De Wedstrijd: Het versloeg de beste bestaande AI-modellen (die alleen naar video of audio keken) met een aanzienlijke marge. Zelfs een zeer slimme "all-rounder" AI die naar video, audio en sensordata keek als tekstbeschrijvingen, haalde slechts 66,89%.
De Les: Het paper bewijst dat je het hartkloppen van een kat niet alleen in woorden kunt beschrijven; de AI moet de ruwe data direct "voelen" om de ware intentie van de kat te begrijpen.

De "Aarzeling"-Functie (Onzekerheid)

Een van de coolste dingen die het paper benadrukt, is hoe de AI omgaat met verwarring.

Het Scenario: Stel je voor dat een kat er blij uitziet (video), maar zijn sensoren zeggen dat hij pijn heeft (biometrie).
Oude AI: Zou zelfverzekerd één antwoord kiezen, waarschijnlijk de visuele, en het fout hebben.
Meow-Omni 1: Wanneer de signalen conflicteren, wordt de AI "onzeker". Zijn interne zekerheidsscore daalt en hij zegt in feite: "Ik weet het niet zeker, deze aanwijzingen kloppen niet."
Waarom het belangrijk is: Het paper suggereert dat dit cruciaal is voor veiligheid. Als de AI het niet zeker weet, kan hij de situatie markeren voor een menselijk dierenarts om te controleren, in plaats van een gevaarlijk fout antwoord te geven.

Samenvatting

Meow-Omni 1 is de eerste AI die het hartkloppen en bewegingssensoren van een kat behandelt als een primaire taal, en niet alleen als achtergrondruis. Door te combineren hoe de kat eruitziet, klinkt en intern aanvoelt, kan het eindelijk het raadsel oplossen of een spinnende kat blij is of pijn heeft. De auteurs hebben de code, de data en het model vrijgegeven voor iedereen om te gebruiken, met als doel dierenartsen en dierenonderzoekers te helpen niet-verbale dieren beter te begrijpen.

Technische Samenvatting: Meow-Omni 1

Probleemstelling

De kernuitdaging die door dit werk wordt aangepakt, is semantische aliasing in computationele ethologie: het fenomeen waarbij identieke externe signalen (bijvoorbeeld het spinnen van een kat) afhankelijk van de fysiologische context fundamenteel verschillende interne toestanden vertegenwoordigen (bijvoorbeeld tevredenheid versus pijn). Bestaande Multimodale Grootte Taalmodellen (MLLM's) zijn grotendeels "blind" voor biologische tijdreeksgegevens (TS) met hoge frequentie. Bijgevolg vertrouwen ze op oppervlakkige gedragspatroonmatching (het voorspellen van de volgende videoframe of toonhoogtecontour) in plaats van op echt redeneren over latente toestanden. Huidige architecturen slagen er niet in om visuele en auditieve signalen op native wijze te verankeren in fysiologische realiteit, wat leidt tot ambiguïteit bij het afleiden van intentie.

Methodologie

1. Architectuur: Native Quad-Modale Integratie

Meow-Omni 1 is het eerste open-source MLLM dat is ontworpen om op native wijze vier datastromen te fuseren: tekst, video, audio en biologische tijdreeksen.

Ruggengraat: Gebouwd op de MiniCPM-o 4.5-architectuur.
Modelchirurgie: De auteurs voeren "transplantaties" uit om feline biometrie te accommoderen:
- Woordenschatuitbreiding: Drie controletokens (<|ts_start|>, <|ts_unit|>, <|ts_end|>) worden toegevoegd aan de tokenizer.
- Gespecialiseerde Encoders: Een dedicated tijdreeksencoder is geïntegreerd vanuit Intern-S1 Pro, een wetenschappelijk multimodaal fundamenteel model.
- Projectielaag: Een aangepaste lineaire projector mapt geëxtraheerde biologische kenmerken af op de gezamenlijke inbeddingsruimte van het LLM, waardoor het model fysiologische data kan behandelen als native taaltokens in plaats van als disparate sensorlezingen.
Forward Pass: Het model verwerkt variabel lange sequenties die een willekeurig subset van modaliteiten bevatten (V, A, TS, Tekst), waarbij TS-inbeddingen worden verweven met visuele en linguïstische tokens binnen een unificerend causaal transformerblok.

2. Theoretisch Kader

De auteurs formaliseren dierlijke intentie ( $I$ ) met behulp van Pearls structurele causale modellen. Intentie wordt niet gedefinieerd als een simpel classificatielabel, maar als een latente biologische en cognitieve drijfveer die de waarschijnlijkheid van een specifieke toekomstige actie maximaliseert onder een hypothetische "vrije-keuze"-interventie ( $do(E_{free})$ ). Deze benadering ontkoppelt de ware intentie van het dier van omgevingsbeperkingen (bijvoorbeeld een kooi of de aanwezigheid van een handler) die waarneembaar gedrag zouden kunnen onderdrukken of veranderen.

3. Trainingspijplijn

De training volgt een tweestapsproces om modaliteitsstabiliteit te waarborgen:

Fase 1 (Projectoruitlijning): De TS-projector wordt voorgetraind op 383.853 gelabelde TS-steekproeven (met behulp van een Next-Behaviour Prediction-strategie) terwijl de LLM-ruggengraat en de TS-encoder bevroren blijven. Dit brengt biometrische kenmerken in lijn met de linguïstische latente ruimte.
Fase 2 (Multimodale Specialisatie): Het model wordt fijn afgestemd op de Meow-10K-dataset (10.831 steekproeven) met uitsluitend de LLM-ruggengraat. Deze dataset bevat diverse modaliteitscombinaties (bijvoorbeeld V+A, V+TS, A+TS en volledige quad-modale) om het model te leren redeneren vanuit elk beschikbaar subset van stromen.

4. Datasets en Benchmarks

Meow-10K: Een trainingsdataset bestaande uit 10.831 steekproven afgeleid van meerdere bronnen (accelerometerdata, videoclips, audio-opnames en gesynchroniseerde paren). Het bevat query-antwoordparen in natuurlijke taal en labels uit een unificerend 30-klasse intentietaxonomie.
MeowBench: Een nieuw, door experts geverifieerd evaluatiebenchmark met 527 hoogwaardige steekproeven. Aangezien natuurlijk gesynchroniseerde quad-modale data schaars is, werden steekproeven gesynthetiseerd door unimodale data (video-audio en TS) die dezelfde intentielabel delen, te matchen, geverifieerd door professionele feline ethologen. Het benchmark gebruikt een Multiple Choice Question (MCQ)-formaat om discriminatieve nauwkeurigheid te testen.

Belangrijkste Bijdragen

Meow-Omni 1 Architectuur: Het eerste native MLLM dat visuele, auditieve en biologische tijdreeksmodaliteiten unificeert voor gezamenlijk gedragsredeneren.
Meow-10K Dataset: Een diverse, multi-bron dataset van meer dan 10.000 feline steekproeven die variërende modaliteitscombinaties omvatten met beschrijvingen in natuurlijke taal.
MeowBench: Het eerste benchmark specifiek ontworpen om MLLM's te evalueren op cross-modaal redeneren tussen biometrie, visie en audio voor het decoderen van intentie.
Open Ethologische AI Framework: Een complete open-source pijplijn (modelgewichten, trainingscode en data) die demonstreert hoe fundamentele modellen kunnen worden aangepast voor niet-menselijke soorten.

Resultaten

Geëvalueerd op MeowBench behaalde Meow-Omni 1 een Top-1 nauwkeurigheid van 71,16%, waarmee het alle baselines overtrof:

Unimodale Baselines: Significante prestatieverbetering ten opzichte van gespecialiseerde akoestische (36,86%), video (61,95%) en TS (48,98%) modellen.
Multimodale Baselines: Het overtrof het toonaangevende algemene omni-modale model, Qwen3.5-Omni-Plus (66,89% met V+A+TS), dat niet-linguïstische signalen behandelt met generieke encoders.
Ablatiestudie: De opname van biologische TS-data leverde de meest significante prestatiewinst op. Waar alleen Visie 69,97% behaalde, steeg de prestatie naar 70,82% bij het toevoegen van TS (V+TS), en bereikte de volledige quad-modale integratie 71,16%. Dit bevestigt dat biologische markers helpen om semantische aliasing op te lossen die inherent is aan puur visuele of auditieve displays.
Kwantificering van Onzekerheid: Met behulp van temperatuur-sampling toonde het model het vermogen aan om conflicterende modaliteiten te detecteren. Bij congruente data was de voorspellende entropie laag (1,28 bits), wat hoge zekerheid aangeeft. Bij adversariele conflictdata (waar visuele aanwijzingen tevredenheid suggereerden maar TS pijn aangeeft), steeg de entropie scherp (3,15 bits), wat aangeeft dat het model correct ambiguïteit identificeerde in plaats van te defaulten naar de sterkste modaliteit.

Betekenis en Claims

Het artikel beweert dat Meow-Omni 1 een schaalbaar paradigma vestigt voor inter-speciële intentiebegrip. De primaire betekenis ligt in:

Oplossen van Semantische Aliasing: Het aantonen dat ware semantische begrijpen van dierlijk gedrag vereist dat observatiegegevens worden verankerd in fysiologische realiteit, verder gaand dan oppervlakkige patroonmatching.
Klinische en Conservatie Nut: Het bieden van een praktisch hulpmiddel voor veterinaire diagnostiek (bijvoorbeeld het detecteren van occulte pijn) en natuurbescherming door de zintuiglijke kloof binnen fundamentele modellen te overbruggen.
Veiligheid en Interpretatie: Het introduceren van een mechanisme voor kwantificering van onzekerheid dat het systeem in staat stelt om ambiguïteit te signaleren, en zich terugtrekt naar menselijke experts in situaties met hoge risico's.

De auteurs positioneren dit werk als een fundamentele stap naar veterinaire diagnostiek en ethologisch onderzoek van de volgende generatie, aanvankelijk ontworpen voor huiskatten (Felis catus), maar bedoeld als sjabloon voor bredere inter-speciële communicatie.