💻 computer science

InterPet4D: A Multimodal 4D Human-Pet Interaction Dataset for Pet Motion Generation

Dit artikel introduceert InterPet4D, de eerste grootschalige multimodale dataset die gesynchroniseerde mens-hond interacties vastlegt met uitgebreide annotaties, en stelt het InterPetMoGen-framework voor dat bestaande baselines aanzienlijk overtreft in het genereren van realistische mens-huisdier beweging.

Oorspronkelijke auteurs: Yichen Peng, Jyun-Ting Song, Chen-Chieh Liao, Kris Kitani, Hideki Koike, Erwin Wu

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yichen Peng, Jyun-Ting Song, Chen-Chieh Liao, Kris Kitani, Hideki Koike, Erwin Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij moet apporteren, maar in plaats van alleen een bal te gooien, moet je elke enkele beweging van je hand uitleggen, elk woord dat je zegt, en hoe de staart van je hond moet kwispelen als reactie daarop. Tot nu toe was het bijna onmogelijk om computers deze soort "kruis-soort" dans te leren, omdat we niet over een goede bibliotheek met voorbeelden beschikten. Dat is waar InterPet4D om de hoek komt kijken. Het is als de eerste enorme, high-definition bibliotheek van mens-hond ontmoetingen, gevuld met 6,8 miljoen frames aan video, audio en 3D-bewegingsgegevens.

De Ultieme Hondentrainingsstudio

Om deze bibliotheek op te bouwen, hebben de onderzoekers een speciale studio opgezet die een beetje lijkt op een set uit een sciencefictionfilm. Ze gebruikten niet zomaar één camera; ze plaatsten 12 gesynchroniseerde camera's in een vierkant om elke hoek van de actie te vangen. Maar hier komt het coole deel aan: de mensen in de studie droegen ook Ray-Ban Meta brillen. Dit gaf de dataset een "first-person" perspectief, waardoor de computer precies kon zien wat de mens ziet wanneer hij naar zijn hond kijkt of uitreikt om hem te aaien.

Ze verzamelden gegevens van 23 menselijke deelnemers (inclusief 11 professionele trainers) en 13 honden die 11 verschillende rassen vertegenwoordigden. Dit waren niet zomaar willekeurige honden; ze waren getraind om commando's op te volgen zoals "zit", "blijf" en "geef hand", maar de dataset legde ook vrije vormen van spelen vast, zoals touwtrekken en achter elkaar aanrennen. Het resultaat? Een schatkist aan gegevens die niet alleen video bevat, maar ook de audio-commando's ("Ruby, zit!") en de precieze 3D-bewegingen van zowel het menselijk lichaam als de poten van de hond.

De Computer Leren "Hond" Spreken

Het hebben van de data is geweldig, maar hoe leer je een computer er gebruik van te maken? De auteurs bouwden een nieuw AI-framework genaamd InterPetMoGen (of IPMG voor kort). Zie dit model als een super slimme vertaler die niet alleen woorden vertaalt, maar ook bewegingen vertaalt.

Wanneer je de model een reeks menselijke handgebaren en een audio-commando geeft, probeert het te raden hoe de hond zou reageren. Maar hier is het lastige deel: de reactie van een hond is niet één enkel, vaststaand antwoord. Als je "zit" zegt, gaat de ene hond direct zitten, terwijl een andere eerst even naar je kan kijken. Het model is ontworpen om deze one-to-many relatie te begrijpen. Het kiest niet zomaar één antwoord; het leert het bereik van mogelijke, realistische reacties.

Om dit te doen, breekt het model de beweging van de hond af in kleine "tokens" (zoals letters in een woord) met behulp van een speciaal hulpmiddel genaamd PetVAE. Dit hulpmiddel zorgt ervoor dat de bewegingen van de hond fysiek echt lijken, door botten en gewrichten correct verbonden te houden, in plaats van dat ze gewoon rondzwabberen als een kwal. Het model gebruikt vervolgens een "coarse-to-fine" benadering: het bepaalt eerst de algemene richting waarin de hond beweegt, en vult daarna de specifieke details in, zoals de plaatsing van de poten en het kwispelen van de staart.

Werkte het?

De onderzoekers testten hun nieuwe model tegen oudere, standaardmethoden (zoals Seq2Seq en Diffusion modellen). De resultaten waren duidelijk: het nieuwe model was de ster van de show.

De Score: In een test genaamd de FID-score (die meet hoe dicht de nepbewegingen bij de echte bewegingen liggen), behaalde hun model een score van 11,21. Dit was een enorme verbetering ten opzien van de op één na beste methode, die een 13,83 scoorde, en veel beter dan de oudere diffusiemodellen die een enorme 64,37 haalden. In de wereld van AI betekent een lagere score hier dat de nepbewegingen veel meer op het echte leven lijken.
De Menselijke Test: Ze vroegen ook aan 12 mensen om de gegenereerde video's te bekijken en te beoordelen. Het nieuwe model scoorde gemiddeld een 6,58 van de 7 voor "naturalness" (natuurlijkheid), terwijl de op één na beste methode slechts een 4,04 kreeg. De menselijke jury zei dat de door AI gegenereerde honden er echt uitzagen alsof ze luisterden en reageerden, terwijl de oudere modellen vaak honden produceerden die er gewoon stonden of zich op vreemde, stijve manieren bewogen.

Wat het (nog) NIET is

Het is belangrijk om te weten wat dit artikel niet beweert. De auteurs zijn zeer voorzichtig in hun bewering dat hun huidige dataset alleen honden beslaat. Ze merken expliciet op dat ze nog geen katten of andere huisdieren hebben opgenomen, omdat verschillende dieren op totaal andere manieren bewegen. Ook begrijpt het model momenteel de kracht van een knuffel of een aai niet; het ziet alleen de beweging, niet de fysieke druk. Ten slotte genereert het model korte clips van ongeveer 10 seconden per keer; het kan nog niet in één keer een hele sessie van een uur aan spel voorspellen.

De Kern van het Verhaal

Dit artikel suggereert dat door AI een enorme, gesynchroniseerde bibliotheek van mens-hond interacties te geven en het te leren bewegingen op te splitsen in realistische "tokens", we eindelijk computers kunnen laten genereren die hondanimaties die echt lijken en aanvoelen. Het is een grote stap voorwaarts voor het maken van virtuele huisdieren die niet alleen aanvoelen als speelgoed, maar zich gedragen als de harige vrienden die we kennen en liefhebben. De auteurs hopen dat deze dataset de standaard speeltuin zal worden voor iedereen die betere sociale robots of geanimeerde personages wil bouwen die met dieren kunnen interageren.

Technische Samenvatting: InterPet4D en InterPetMoGen

1. Probleemstelling

De schatting en generatie van interacties tussen mens en huisdier blijven aanzienlijk onderbelicht in computer vision en robotica. Bestaand onderzoek heeft zich grotendeels gericht op mens-mens of mens-object interacties, voornally door het ontbreken van grootschalige, hoogwaardige datasets die natuurlijke interacties tussen verschillende soorten vastleggen. Het modelleren van deze interacties brengt unieke uitdagingen met zich mee:

Datatekort: Het bereiken van gestructureerde, herhaalbare coördinatie tussen mensen en dieren is moeilijk zonder gecontroleerde training, wat grootschalige dataverzameling belemmert.
Occlusie: Interacties op korte afstand resulteren vaak in ernstige cross-occlusie, wat de reconstructie van fijnmazige details verslechtert.
Morfologische Asymmetrie: De structurele verschillen tussen mensen en dieren compliceren het modelleren van gezamenlijke distributies in vergelijking met interacties tussen dezelfde soort.
Gebrek aan Multimodale Signalen: Bestaande dier datasets leggen zelden gelijktijdige gesynchroniseerde audio, menselijke beweging en dierlijke beweging vast.

2. Methodologie

2.1 De InterPet4D Dataset

De auteurs introduceren InterPet4D, de eerste grootschalige multimodale 4D-dataset gewijd aan natuurlijke mens-hond interacties.

Dataverzameling: De dataset bestaat uit 6,83 miljoen frames verzameld van 23 menselijke deelnemers (inclusief 11 professionele trainers) en 13 honden uit 11 rassen.
Capture Setup: Er werd een gesynchroniseerd multi-view systeem gebruikt, bestaande uit:
- Perspectief van de derde persoon: 12 draadloos gesynchroniseerde GoPro Hero13 camera's (1920×1080, 60 fps) opgesteld in een vierkant, waarbij 8 camera's laag gepositioneerd zijn om details van het huisdier en de handen te vangen.
- Egocentrisch Perspectief: Ray-Ban Meta brillen gedragen door de deelnemers, die eerste-persoon RGB-video en audio leveren.
- Synchronisatie: Bereikt via softwarematige uitlijning met behulp van handklap-signalen, met een maximale fout van één frame.
Interactie Taxonomie: De data beslaat vier gestructureerde categorieën:
1. Aaien (Petting): Fysiek contact en posturale reacties.
2. Commanderen (Commanding): Verbale en gebarentaken (bijv. "zit", "geef hand").
3. Roepen (Calling): Afstandsgebonden stem- en handgebaren.
4. Vrij vorm (Free-form): Ongescripte interacties (bijv. halen, touwtrekken).
Annotaties: De dataset bevat gesynchroniseerde multi-view/egocentrische video's, segmentaties, 2D/3D keypoints, meshes (SMPL-X/MANO voor mensen, SMAL voor honden) en uitgelijnde audiotracks met tekstuele beschrijvingen gegenereerd via Large Language Models (LLM's).

2.2 Dataverwerkingspijplijn

Menselijke Reconstructie: Maakt gebruik van een pijplijn die Mask R-CNN, HRNet-WholeBody en DeepSORT combineert voor lokalisatie en tracking. 2D keypoints worden getrianguleerd en verfijnd met behulp van energiefuncties (symmetrie, temporele gladheid, botlengte-beperkingen) voordat SMPL-X en MANO modellen worden aangepast.
Hond Reconstructie: Detecteert honden via RTMDet en schat 2D keypoints in met HRNet. Menselijke maskers filteren geoccludeerde regio's. 3D joints worden getrianguleerd en gladgestreken (RTS smoother) voordat het SMAL-model wordt aangepast. Vormparameters worden gestabiliseerd door handmatige fitting op een canoniek frame.
Audio/Tekst Verwerking: Ruwe audio wordt getranscribeerd en vertaald naar het Engels via ASR. Temporele grenzen worden geannoteerd, en interactiebeschrijvingen worden gegenereerd met behulp van een Qwen3-gebaseerd LLM.

2.3 InterPetMoGen (IPMG) Framework

De auteurs stellen InterPetMoGen voor, een MotionGPT-gebaseerd framework voor gebaar-naar-huisdier bewegingsgeneratie.

Doel: Het leren van de conditionele distributie $p(P | H, A)$ , waarbij $P$ de bewegingssequentie van het huisdier is, $H$ de menselijke beweging (lichaam + handen) is, en $A$ de audio-sequentie is.
Architectuur:
- Multimodale Tokenisatie:
  - PetVAE: Een Variational Autoencoder met Vector Quantization (VQ-VAE) die een discrete latente ruimte leert voor hondbewegingen. Het bevat een Bone Length Regressor om skeletale consistentie af te dwingen.
  - Human Tokenizer: Codeert lichaams- en handgebaren afzonderlijk in discrete tokens met behulp van modaliteit-specifieke encoders.
  - Vertaling & Audio Tokenizers: Encoderen globale root translaties en audio-features (via MERT) in discrete tokens.
- Autoregressieve Transformer: Een prefix-LM GPT model dat de volgende hondbeweging-token voorspelt, geconditioneerd op menselijke en audio-tokens.
- Modality-Aware Attention (MAA): Een nieuw aandachtmechanisme dat de informatiestroom reguleert. Menselijke tokens maken gebruik van bidirectionele aandacht (globale context), terwijl translatie- en huisdier-tokens causale (autoregressieve) aandacht gebruiken, wat een coarse-to-fine generatiehiërarchie vestigt.
Training: Het model wordt getraind in twee stadia: eerst worden de VQ-VAE's getraind om modaliteiten te tokeniseren; daarna wordt de transformer getraind om hondbeweging-tokens te genereren, geconditioneerd op de andere modaliteiten.

3. Belangrijkste Bijdragen

InterPet4D Dataset: De eerste grootschalige multimodale 4D-dataset van mens-huisdier interacties, met 6,8M gesynchroniseerde frames, 12-view third-person video, egocentrische video, audio en 3D-reconstructies voor zowel mensen als honden.
Systematisch Protocol: Een gestandaardiseerde interactie taxonomie die vier categorieën van mens-hond interactie beslaat, wat gestructureerde analyse van cross-species gedrag mogelijk maakt.
InterPetMoGen (IPMG): Een nieuw framework dat een PetVAE tokenizer en Modality-Aware Attention (MAA) incorporeert om diverse, realistische hondbewegingen te genereren, geconditioneerd op menselijke gebaren en audio.

4. Experimentele Resultaten

De auteurs evalueerden IPMG tegenover baselines inclusief Seq2Seq-Transformer, Diffusion-Transformer (DiT) en geablateerde varianten van hun eigen model.

Kwantitatieve Prestaties:
- FID (Fréchet Inception Distance): IPMG behaalde een kinetische FID ( $FID_k$ ) van 11,21, waarmee het de Seq2Seq baseline (21,22) en de DiT baseline (64,37) aanzienlijk versloeg.
- Alignment (R-Precision): IPMG toonde superieure alignment met conditioneringssignalen, met een $R_{hand}^{Prec.}$ van 0,63 en een $R_{body}^{Prec.}$ van 0,59, vergeleken met 0,41/0,38 voor Seq2Seq.
- Diversiteit: Het model genereerde meer gevarieerde bewegingspatronen (Div $_k$ = 5,93) vergeleken met de baselines.
- Ablatie: Het verwijderen van de PetVAE-module verhoogde de $FID_k$ naar 14,15. Het verwijderen van de bot-constraint in PetVAE verhoogde de $FID$ naar 12,53 en de snelheid-error naar 1,79, wat de noodzaak van skeletale constraints bevestigt. Het gebruik van zowel lichaam als handen als input leverde de beste resultaten op vergeleken met single-modality inputs.
Kwalitatieve & Gebruikersstudie:
- Visualisaties toonden aan dat IPMG temporeel gladde en responsieve bewegingen produceerde (bijv. draaien naar commando's toe), terwijl baselines vaak niet reageerden op gebaren of onstabiele bewegingen produceerden.
- Een gebruikersstudie met 12 deelnemers beoordeelde IPMG significant hoger dan alle baselines op het gebied van Naturaliteit (6,58 vs. 4,04 voor Seq2Seq), Responsiviteit (6,55 vs. 3,67) en Algehele Kwaliteit (6,63 vs. 3,67). Statistische analyse bevestigde dat deze verschillen significant waren.

5. Betekenis en Claims

Het artikel claimt dat InterPet4D en InterPetMoGen een fundamentele stap vormen naar het modelleren van realistische interacties tussen verschillende soorten. Door de eerste gesynchroniseerde multimodale dataset en een gespecialiseerd generatieframework te bieden, pakt het werk het kritieke tekort aan data en methoden voor mens-huisdier dynamiek aan. De auteurs stellen dat hun aanpak, met name het gebruik van discrete bewegingstokens en modality-aware attention, effectief de gestructureerde relaties tussen menselijke agenten en dierlijke reacties vastlegt, en hiermee generieke bewegingsgeneratie-architecturen overtreft in zowel objectieve metrieken als perceptuele kwaliteit.

Erkende Beperkingen:

De dataset is momenteel beperkt tot honden; het uitbreiden naar andere soorten (bijv. katten) vereist soortspecifieke modellen.
Het framework modelleert geen fysieke contactkrachten, die relevant zijn voor aai-interacties.
De huidige generatie is beperkt tot clips van vaste lengte (10 seconden); generatie met variabele lengte is een toekomstige richting.