💻 computer science

EgoFun3D: Modeling Interactive Objects from Egocentric Videos using Function Templates

Deze paper introduceert EgoFun3D, een geïntegreerd raamwerk met een dataset en benchmark voor het modelleren van interactieve 3D-objecten vanuit egocentrische video's door middel van functionele sjablonen die simulatieklaar code genereren.

Oorspronkelijke auteurs: Weikun Peng, Denys Iliash, Manolis Savva

Gepubliceerd 2026-04-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Weikun Peng, Denys Iliash, Manolis Savva

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren hoe de wereld werkt, niet door hem boeken te laten lezen, maar door hem naar een video te laten kijken waarin een mens een deur opent, een kraan draait of een lichtschakelaar bedient. Dat is precies wat dit paper, EgoFun3D, probeert te doen.

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen:

1. Het Probleem: De "Blinde" Robot

Vroeger waren robots vooral goed in simpele taken. Maar als je een robot in een echt huis wilt zetten, moet hij begrijpen dat draaien aan een knop (de receptor) leidt tot warmte op het fornuis (de effector).

Huidige robots zijn vaak "blind" voor deze verbindingen. Ze zien misschien een knop, maar ze weten niet wat er gebeurt als je hem draait. Bestaande 3D-modellen van objecten zijn vaak statisch; ze zien eruit als een poppetje, maar ze hebben geen "hersenen" om te weten hoe ze moeten bewegen of reageren.

2. De Oplossing: EgoFun3D (De "Vertaler")

De onderzoekers van Simon Fraser University hebben een nieuw systeem bedacht dat een video van een mens (uit het perspectief van de mens, dus "egocentrisch") omzet in een interactief 3D-object dat een simulator (een virtuele wereld) kan begrijpen.

Ze noemen dit EgoFun3D. Het werkt als een slimme vertaler die een video "leest" en er een handleiding voor een robot van maakt.

3. De Magische Formule: De "Functie-Sjabloon"

Dit is het slimste deel van het paper. In plaats van te zeggen "Draai de knop", gebruiken ze een concept dat ze Functie-Sjablonen noemen.

Stel je voor dat je een recept hebt voor een taart. Je hoeft niet te weten hoe de oven precies werkt, zolang je maar weet: "Als je de temperatuur op 180 zet, wordt de taart gaar."

Een Functie-Sjabloon doet hetzelfde voor objecten:

De Ontvanger (Receptor): Het deel dat je aanraakt (bijv. de kraanhandgreep).
De Uitvoerder (Effector): Het deel dat reageert (bijv. het water dat eruit komt).
De Regels (Mapping): Hoe de beweging van de handgreep de waterstroom beïnvloedt. Is het een aan/uit-schakelaar? Of wordt het water harder naarmate je meer draait?

Deze sjablonen zijn zo gestructureerd dat ze direct kunnen worden omgezet in computercode voor verschillende simulatoren. Het is alsof je een universele "USB-stick" maakt die in elke computer (of simulator) werkt, ongeacht het merk.

4. Hoe werkt het? (De 4 Stappen)

Het systeem breekt de taak op in vier stappen, alsof je een puzzel oplost:

Zoek de stukjes (Segmentatie): De computer kijkt naar de video en probeert te vinden: "Welk deel raakt de mens aan?" en "Welk deel beweegt erbij?" (Bijv. de handgreep en de kraan).
- Moeilijkheid: Soms zijn de stukjes klein of verstop achter andere dingen, net als het zoeken naar een speld in een hooiberg.
Bouw het model (Reconstructie): De computer bouwt een 3D-versie van die stukjes op basis van de video.
- Moeilijkheid: Omdat de camera beweegt (het hoofd van de mens), is het lastig om een perfect 3D-model te maken zonder gaten of vervormingen.
Bepaal de scharnieren (Articulatie): De computer moet raden hoe de delen bewegen. Draait het? Schuift het?
- Moeilijkheid: Dit is vaak het zwakste punt. De computer raadt soms dat een draaiende knop een schuifbeweging is.
Schrijf de regels (Functie-inferentie): Een slimme AI (een "Visueel Taalmodel") kijkt naar de video en schrijft de code: "Als de handgreep 90 graden draait, dan stroomt er water."

5. De Resultaten: Een Grote Stap, maar nog niet perfect

De onderzoekers hebben een enorme dataset gemaakt met 271 video's van mensen die dingen doen in hun huis. Ze hebben getest hoe goed bestaande technologie dit kan.

Het goede nieuws: De AI is heel goed in het begrijpen van de regels. Als je vraagt: "Wat gebeurt er als ik dit draai?", kan de AI vaak precies zeggen: "Dan wordt het warmer" of "Dan gaat het licht aan".
Het slechte nieuws: De 3D-modellen en de bewegingen zijn nog niet perfect. De computer ziet vaak niet precies hoe de onderdelen in elkaar zitten, vooral als ze klein zijn of als de video erg wazig beweegt.

Conclusie: Waarom is dit belangrijk?

Dit paper is als het leggen van de fundamenten voor een toekomst waar robots niet alleen "kijken", maar echt "begrijpen" hoe de wereld werkt.

Vroeger moest je een robot programmeren met duizenden regels code om hem te leren een deur open te maken. Met EgoFun3D kunnen we straks gewoon een video laten zien, en de robot leert het zelf: "Ah, als ik die hendel trek, gaat de deur open." Het maakt het mogelijk om robots te trainen in een virtuele wereld die precies lijkt op de echte wereld, zodat ze later veilig en slim kunnen werken in onze huizen.

Kortom: Het is de brug tussen kijken naar een video en een werkende robot die de wereld begrijpt.

Titel: EgoFun3D: Modellering van Interactieve Objecten vanuit Ego-centrische Video's met Behulp van Functietemplates

1. Het Probleem

Interactieve 3D-objecten (objecten met functionele onderdelen die op elkaar reageren, zoals een kraan die water laat stromen of een knop die een licht aanzet) zijn essentieel voor Embodied AI, robotica en gaming. Helaas zijn dergelijke objecten schaars in bestaande datasets. Bestaande methoden focussen voornamelijk op:

Articulatie: Het modelleren van beweging van onderdelen (bijv. scharnieren), maar negeren de fysieke state-change (bijv. temperatuurverandering).
Natuurlijke taal: Beschrijvingen van functionaliteit in tekst, wat niet formeel genoeg is voor directe simulatie of precieze evaluatie.
Simulator-specifieke API's: Code die niet portabel is tussen verschillende simulatoren.

De uitdaging is om vanuit ego-centrische video's (opgenomen vanuit het perspectief van de gebruiker) volledig interactieve, simuleerbare 3D-objecten te reconstrueren. Dit is complex door dynamische viewpoints, ernstige occlusies (verduistering) en complexe interacties.

2. Methodologie

De auteurs stellen een geïntegreerde taak, dataset en benchmark voor genaamd EgoFun3D. De kern van hun aanpak is de introductie van Functietemplates (Function Templates).

A. Functietemplates (Function Templates)
In plaats van natuurlijke taal of simulator-specifieke code, definiëren ze functionaliteit als een gestructureerde berekening die een Receptor (het deel dat wordt aangeraakt, bijv. een kraanhandvat) koppelt aan een Effector (het deel dat reageert, bijv. de waterstraal).
De functie $F$ wordt gedefinieerd als $s_E = F(s_R)$ , waarbij $s_R$ de staat van de receptor en $s_E$ de staat van de effector is. Dit wordt opgesplitst in twee componenten:

Mapping (M): De wiskundige relatie tussen de toestanden. De auteurs identificeren vier types:
- Binair: Aan/uit (bijv. lichtschakelaar).
- Stap (Step): Verandering bij een bepaalde drempel (bijv. koelkastdeur die licht aandoet bij een specifieke hoek).
- Lineair: Evenredige verandering (bijv. kraan en waterstroom).
- Cumulatief: Accumulatie over tijd (bijv. temperatuurverhoging bij het indrukken van een knop).
Fysisch Effect (P): Het type fysieke verandering. De auteurs focussen op vier types:
- Geometrie (vorm/positie), Verlichting, Temperatuur, Vloeistof.

Deze templates kunnen direct worden gecompileerd naar uitvoerbare Python-scripts voor diverse simulatoren (zoals BEHAVIOR, Isaac Sim, Genesis).

B. De 4-staps Baseline Pipeline
Om de taak op te lossen, stellen de auteurs een pipeline voor die gebruikmaakt van bestaande ("off-the-shelf") componenten:

2D Segmentatie: Een Vision Language Model (VLM) identificeert de receptor en effector en beschrijft ze. Een referring segmentation model (zoals SAM) maakt maskers voor deze delen in de video.
Reconstructie: De geometrie van de receptor en effector wordt gereconstrueerd uit de video, gebruikmakend van de gesegmenteerde maskers en dieptekaarten.
Articulatie Schatting: De bewegingsparameters (as, oorsprong, type gewricht) van de onderdelen worden geschat.
Functietemplate Inference: Een VLM analyseert de video en de interactie om de juiste Mapping (M) en Fysisch Effect (P) te voorspellen, waardoor de template wordt gevuld.

3. De Dataset

Omdat er geen bestaande dataset was die alle benodigde modaliteiten combineerde, hebben de auteurs een nieuwe dataset samengesteld met 271 ego-centrische video's.

Bronnen: Ego-Exo4D, FunGraph3D en zelf opgenomen data.
Annotaties:
- 2D en 3D segmentatiemaskers voor handen, objecten en onderdelen (receptor/effector).
- Articulatieparameters (gewrichtstypes, assen, bereiken).
- Functietemplate-annotaties (Mapping + Fysisch Effect).
Diversiteit: 88 objectinstanties in 14 categorieën (o.a. kranen, fornuizen, koelkasten), hoewel er een bias is naar kookgerelateerde objecten.

4. Resultaten en Evaluatie

De auteurs hebben de baseline pipeline uitgebreid getest met de nieuwste modellen. De resultaten tonen aan dat de taak zeer uitdagend is voor huidige technologie:

2D Segmentatie: Modellen zoals SAM3 gekoppeld aan Qwen3-VL presteren het beste (gemiddelde IoU van 38,8%), maar zijn zeer traag. Kleine onderdelen (zoals kraanhandvatten) en ernstige occlusies blijven een groot probleem.
3D Reconstructie: Depth Anything 3 presteert het beste, maar reconstructies zijn vaak incompleet of niet goed uitgelijnd tussen frames door onnauwkeurige cameraposes. Fusion-modules helpen weinig bij kleine, getextureerde objecten.
Articulatie: Methoden zoals ArtiPoint en iTACO hebben een hoge faalratio (tot 46% bij ArtiPoint) en onnauwkeurige gewrichtsparameters, vooral bij kleine onderdelen.
Functietemplate Inference: VLM's presteren verrassend goed. Gemini 3 Flash bereikte een algehele nauwkeurigheid van 92,9% in het voorspellen van zowel het fysische effect als de mapping. Dit suggereert dat de template-representatie goed past bij de redeneercapaciteiten van moderne AI-modellen.

Conclusie van de benchmark: Hoewel VLM's goed zijn in het begrijpen van functionaliteit, vormen 2D-segmentatie van kleine delen, 4D-reconstructie uit dynamische video's en betrouwbare articulatieschatting de belangrijkste knelpunten.

5. Belangrijkste Bijdragen

Taakformulering: Een nieuwe definitie van het modelleren van interactieve 3D-objecten vanuit ego-centrische video's, met focus op cross-part functionaliteit.
Functietemplate Representatie: Een gestructureerde, portabele en compileerbare representatie van objectfunctionaliteit die losstaat van specifieke simulatoren.
Dataset & Benchmark: De publicatie van EgoFun3D, een dataset met 271 video's met uitgebreide 2D/3D annotaties, articulatie en functionaliteit, specifiek ontworpen voor end-to-end evaluatie.
Baseline Pipeline: Een werkend systeem dat de taak opsplitst in vier sub-taken, met uitgebreide benchmarks van state-of-the-art componenten.

6. Betekenis en Toekomstperspectief

EgoFun3D maakt een belangrijke stap in het sluiten van de kloof tussen real-world waarneming en simulatie. Door functionaliteit te vertalen naar uitvoerbare code, kunnen robots en AI-agenten sneller leren in simulaties die realistisch gedrag nabootsen.

De studie identificeert echter duidelijk dat de huidige "off-the-shelf" componenten nog niet klaar zijn voor deze complexe taak. Toekomstig werk moet zich richten op:

Betere agentic frameworks voor 2D-segmentatie.
End-to-end 4D-reconstructie methoden die beter omgaan met dynamische video's en occlusies.
Articulatieschatting gebaseerd op handbewegingen in plaats van objectbeweging, aangezien handen in ego-centrische video's vaak beter zichtbaar zijn.

Samenvattend biedt EgoFun3D een cruciale infrastructuur voor het ontwikkelen van robuuste Embodied AI-systemen die interactieve objecten in de echte wereld kunnen begrijpen en nabootsen.