💻 computer science

Mind the Context: Continual Learning of Socially Appropriate Robot Actions via Environmental-Social Disentanglement

Dit artikel introduceert het Explicit Disentanglement Dual-Branch (EDD)-framework, dat sociale robots in staat stelt om continu context-gepaste acties te leren over diverse omgevingen heen door omgevings- en sociale signalen expliciet van elkaar te scheiden om catastrofale vergetelheid te mitigeren.

Oorspronkelijke auteurs: Rafal Robert Karpinski, Fethiye Irmak Dogan, Nikhil Churamani, Yiming Luo, Maartje M. A. de Graaf, Davide Dell'Anna, Hatice Gunes

Gepubliceerd 2026-08-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rafal Robert Karpinski, Fethiye Irmak Dogan, Nikhil Churamani, Yiming Luo, Maartje M. A. de Graaf, Davide Dell'Anna, Hatice Gunes

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een robot voor die een kamer binnenloopt. Voor een mens vertelt de kamer een verhaal: is het een chaotische woonkamer waar een feestje gaande is, of een rustige kantoorruimte waar een serieuze vergadering plaatsvindt? Dezelfde handeling, zoals een luid gesprek beginnen of de vloer stofzuigen, kan in de eerste kamer volkomen beleefd zijn, maar in de tweede kamer een totale ramp. Dit is de wereld van de sociale robotica, waar machines proberen de ongeschreven regels van menselijk gedrag te leren. Maar hier zit de crux: robots kunnen niet worden geprogrammeerd met elke regel voor elke mogelijke kamer die ze ooit zouden kunnen bezoeken. In plaats daarvan hebben ze Continual Learning (voortdurend leren) nodig. Denk hierbij aan een student die steeds naar nieuwe scholen gaat. Die moet de nieuwe regels van de kantine of de gymzaal leren zonder de regels van hun oude school te vergeten. Als ze vergeten, wordt dat "catastrophic forgetting" genoemd, en raakt de robot in de war en onbeleefd.

De grote vraag die onderzoekers stellen is: hoe leren we een robot dat waar het is (de omgeving) en wie er is (de sociale menigte) samenwerken om te bepalen wat beleefd is? Meestal kijken robots naar een totaalbeeld van een kamer en proberen ze de regels te raden. Maar dit artikel suggereert dat dat is alsof je een puzzel probeert op te lossen terwijl je een beslagen bril draagt. De auteurs stellen een slimmere manier voor: leer de robot om de "achtergrond" (de meubels, de muren) te scheiden van de "mensen" (de menigte, hun posities) en leer van hen afzonderlijk voordat je de stukjes weer samenvoegt.

Het "Mind the Context" Experiment

In dit onderzoek hebben de onderzoekers een nieuw leersysteem gebouwd genaamd EDD (Explicit Disentanglement Dual-Branch). Stel je een robot voor met twee verschillende soorten brillen. Eén paar, de "Environmental Lens" (omgevingslens), vervaagt alle mensen zodat de robot zich puur kan concentreren op de indeling van de kamer — zoals kijken of er een tafel staat om eten op te serveren of een rommelige vloer om schoon te maken. Het andere paar, de "Social Lens" (sociale lens), vervaagt de meubels en muren, waardoor alleen de silhouetten van mensen overblijven, zodat de robot kan zien wie waar staat en hoe dicht mensen bij elkaar staan.

De robot gebruikt deze twee afzonderlijke beelden om te leren. Het heeft twee "hersenen" (of takken) die deze beelden onafhankelijk van elkaar verwerken en vervolgens hun gedachten combineren om te beslissen: "Is het oké om hier een gesprek te beginnen?" of "Zal ik nu stofzuigen?". Om ervoor te zorgen dat de robot niet vergeet wat hij heeft geleerd in de woonkamer wanneer hij naar het kantoor verhuist, heeft het team een "replay buffer" gebruikt. Dit is als een digitaal plakboek waarin de robot een paar foto's van oude kamers bewaart om op te oefenen terwijl hij nieuwe kamers leert, wat voorkomt dat hij in de war raakt.

Wat ze vonden

Het team testte dit systeem in zes verschillende binnenomgevingen, variërend van een gezellige woning tot diverse kantoorruimtes zoals vergaderzalen, gangen en grote open kantoortuinen. Ze vergeleken hun "twee-lenzen"-robot met andere methoden, waaronder robots die gewoon naar het hele plaatje tegelijk kijken, en zelfs enkele zeer geavanceerde AI-modellen die proberen sociale regels te raden zonder enige training (genaamd "zero-shot" modellen).

De resultaten waren vrij duidelijk. De EDD-robot, met zijn gescheiden lenzen en plakboek, was het beste in het voorspellen van wat mensen als beleefd zouden beschouwen. Hij maakte minder fouten (een lagere foutmarge van 0,783 vergeleken met meer dan 1,2 of 2,0 voor andere methoden) en zijn voorspellingen kwamen veel nauwer overeen met menselijke meningen.

De onderzoekers testten ook verschillende manieren om de "mensen" van de "kamer" te scheiden. Ze ontdekten dat het gebruik van bounding boxes (het tekenen van een kader rond mensen en alles daarbuiten verbergen) iets beter werkte dan alleen hun contouren (silhouetten) gebruiken of simpelweg inzoomen op de robot. Dit suggereert dat het duidelijk verbergen van de mensen uit het "omgevingsbeeld" de robot helpt om de regels van de kamer beter te begrijpen.

Interessant genoeg deed de volgorde waarin de robot deze kamers bezocht er niet veel toe. Of de robot nu begon in een eenvoudige gang en naar een complexe woonkamer bewoog, of andersom, de robot leerde in beide gevallen goed. Dit suggereert dat het systeem zeer robuust is en niet gemakkelijk in de war raakt door de volgorde van nieuwe ervaringen.

De Conclusie

Het artikel suggereert dat voor robots om echt beleefd te zijn in onze veranderende wereld, ze moeten stoppen met het zien van een scène als één grote, rommelige vlek. In plaats daarvan moeten ze actief het "waar" scheiden van het "wie". Door de robot expliciet te leren de omgeving en de sociale menigte als twee verschillende dingen te begrijpen, en die kennis vervolgens te combineren, leert de robot sneller en vergeet hij minder. Hoewel dit werd getest op synthetische beelden (computergegenereerde scènes) in plaats van echte video, wijzen de resultaten erop dat deze "disentanglement"-strategie (ontwarring) een veelbelovende weg is voor het bouwen van robots die zich aan nieuwe sociale situaties kunnen aanpassen zonder hun manieren te verliezen.

Technische Samenvatting: Mind the Context – Continual Learning van Sociaal Gepaste Robotacties via Omgevings–Sociale Ontvlechting

1. Probleemformulering

Het artikel behandelt de uitdaging om sociale robots in staat te stellen te opereren in diverse, veranderende binnenomgevingen (bijv. huizen, kantoren, vergaderruimtes) waar sociale gepastheid contextafhankelijk is. Een specifieke actie (bijv. een gesprek beginnen of schoonmaken) kan gepast zijn in de ene setting (een drukke woonkamer), maar verstorend in een andere (een vergaderruimte), zelfs als de sociale opstelling van mensen er vergelijkbaar uitziet.

Het kernprobleem wordt geformuleerd als Domain-Incremental Continual Learning (DIL). In tegenstelling tot taak-incrementele settings waarbij de taak verandert maar de omgeving statisch blijft, vereist DIL dat de robot opeenvolgend nieuwe domeinen (omgevingen) tegenkomt met afwijkende datadistributies. De robot moet leren de gepastheid van meerdere acties (bijv. stofzuigen, serveren, objecten dragen) in deze nieuwe domeinen te voorspellen, terwijl de kennis van eerdere domeinen behouden blijft, waardoor catastrofaal vergeten wordt beperkt.

Een kritische lacune die in eerder werk is geïdentificeerd, is dat bestaande methoden voor het leren van sociaal gepaste acties de scène doorgaans behandelen als een monolithische input, waarbij omgevingskenmerken (indeling, meubilair, openheid) en sociale kenmerken (posities van agenten, groepsconfiguraties) impliciet worden vermengd. De auteurs stellen dat voor domain-incremental learning het expliciet scheiden van deze kenmerken noodzakelijk is om spuriose correlaties te verminderen en kennisoverdracht te verbeteren.

2. Methodologie: Het EDD-framework

De auteurs stellen het Explicit Disentanglement Dual-Branch (EDD) framework voor, dat bestaat uit drie hoofdonderdelen:

A. Semantische Contextdecompositie

Om de omgevings- en sociale informatie expliciet te scheiden, gebruiken de auteurs Panoptische Segmentatie om elke scène-afbeelding $x$ te deconstrueren in twee afzonderlijke weergaven:

Omgevingsweergave ( $x_E$ ): Deze weergave benadrukt de achtergrond en de ruimtelijke indeling, terwijl sociale agenten worden afgeschermd. Deze wordt geconstrueerd door gedetecteerde agenten te maskeren en te vervangen door een vaste kleur, terwijl ook "decoy" (afleidings-) bounding box-maskers uit een domeinpool worden toegevoegd om de locaties van agenten verder te maskeren. Dit dwingt het netwerk om te vertrouwen op affordances (gebruiksmogelijkheden) en ruimtelijke beperkingen.
Sociale weergave ( $x_S$ ): Deze weergave isoleert de sociale agenten (mensen, huisdieren, andere robots) tegen een uniforme achtergrond. Deze wordt geconstrueerd met behulp van de silhouet-maskers van de agenten, waarbij hun relatieve posities en groeperingen behouden blijven terwijl de omgevingscontext wordt verwijderd.

B. Dual-Branch Netwerk

De gedestructureerde weergaven worden verwerkt door een Dual-Branch Architectuur:

Environmental Encoder ( $\phi_E$ ): Verwerkt $x_E$ om kenmerken te extraheren die gerelateerd zijn aan de setting (bijv. type kamer, meubel dichtheid).
Social Encoder ( $\phi_S$ ): Verwerkt $x_S$ om kenmerken te extraheren die gerelateerd zijn aan de configuraties van de agenten.
Fusie en Regressie: De featurevectoren uit beide takken worden geconcateneerd en door een gedeelde Regression Head ( $g$ ) gestuurd om een $K$ -dimensionale vector van gepastheidsscores voor $K$ mogelijke acties te voorspellen. Dit stelt het model in staat om te leren hoe omgevings- en sociale factoren de gepastheid van acties gezamenlijk beïnvloeden.

C. Continual Learning met Replay

Om de opeenvolgende aankomst van domeinen zonder toegang tot oude data te verwerken, maakt EDD gebruik van een Experience Replay strategie:

Een geheugenbuffer slaat een vast aantal samples op van elk aangetroffen domein.
Tijdens de training op een nieuw domein wordt het model getraind op een mix van huidige domeindata en gereproduceerde (replayed) samples uit de buffer.
Deze aanpak benadert gezamenlijke training over alle domeinen, wat de cumulatieve loss minimaliseert en catastrofaal vergeten tegengaat.

3. Belangrijkste Bijdragen

Expliciete Ontvlechting: Het artikel introduceert een nieuwe aanpak voor domain-incremental CL voor sociale robotica door omgevings- en sociale kenmerken expliciet te scheiden op inputniveau middels panoptische segmentatie, in plaats van te vertrouwen op impliciete feature learning vanuit volledige scène-afbeeldingen.
EDD Framework: De voorstel van het Explicit Disentanglement Dual-Branch framework, dat semantische decompositie combineert met een dual-branch architectuur en replay-gebaseerde rehearsal.
Uitgebreide Evaluatie: De auteurs evalueren het framework over zes binnenlanden (Huis en vijf kantoorvarianten) en voeren ablatie-studies uit op:
- Ontvlechlingsstrategieën: Het vergelijken van bounding-box maskers, silhouetten, ruimtelijke close-ups en "geen decompositie".
- Domeinvolgorde: Het testen van verschillende sequenties (complexiteitsgebaseerd, contrastgebaseerd) om de gevoeligheid voor de volgorde van domeenblootstelling te beoordelen.
- Baselines: Vergelijking met robotica-specifieke CL-methoden, domain-incremental vision baselines en zero-shot Vision-Language Modellen (VLMs).

4. Experimentele Resultaten

De experimenten werden uitgevoerd op een samengevoegde dataset van OfficeDB en MannersDB+, met de focus op de Pepper-robot in negen actie-categorieën.

Prestaties vs. Baselines (RQ1): EDD presteerde beter dan alle baselines, inclusclusief state-of-the-art robotica CL-methoden (FedLGR), domain-incremental vision modellen (DUCA, DARE++) en zero-shot VLMs (Qwen, LLaVA, DeepSeek). EDD behaalde de laagste Root Mean Squared Error (RMSE: 0.783) en de hoogste Pearson (PCC: 0.552) en Concordance (CCC: 0.375) correlatiecoëfficiënten met menselijke beoordelingen. Opvallend genoeg vertoonden VLMs een concurrerende RMSE, maar correleerden ze slecht met menselijke oordelen, wat suggereert dat fundamentele modellen alleen onvoldoende zijn voor deze specifieke taak.
Ontvlechlingsstrategieën (RQ2): De Bounding-Box decompositie (de voorgestelde methode) leverde de beste algehele prestaties en het laagste vergeten (Backwards Transfer, BWT). Hoewel de "Geen Decompositie" controle vergelijkbaar presteerde op foutmetrieken, zorgde de expliciete scheiding voor een betere afstemming met menselijke oordelen (hogere PCC/CCC). De "Robot Close-up" strategie vertoonde de beste retentie (laagste BWT) maar lagere correlatie, wat suggereert dat deze methode domeinspecifieke kenmerken goed behoudt maar bredere sociale context kan missen.
Domeinvolgorde (RQ3): De volgorde van domeenblootstelling had een meetbaar maar bescheiden effect op de prestaties. Hoewel een curriculum van "toenemende complexiteit" een iets betere prestatie liet zien op de Home-domein, was de algehele impact op vergeten en algemene nauwkeurigheid beperkt vergeleken met de architecturale keuzes. Het model bleef relatief robuust over verschillende sequentiestrategieën.

5. Betekenis en Claims

Het artikel claimt dat het expliciet ontvlechten van omgevings- en sociale kenmerken een levensvatbare en effectieve strategie is voor continual learning in sociale robotica. De auteurs stellen dat:

Sociale gepastheid niet uitsluitend een functie is van de arrangement van agenten, maar gezamenlijk wordt bepaald door de omgeving (affordances) en de sociale configuratie.
Het behandelen van deze kenmerken als afzonderlijke inputs het model in staat stelt om beter aan te passen aan domeinverschuivingen zonder eerdere kennis te vergeten, aangezien de omgevings-tak kan adapteren aan nieuwe lay-outs terwijl de sociale tak generaliseerbare interactiepatronen van agenten behoudt.
Huidige zero-shot VLMs, hoewel krachtig, missen de specifieke structurele inductieve biases die nodig zijn om de genuanceerde, contextafhankelijke aard van sociale normen in belichaamde omgevingen te vatten.

Het werk suggereert dat toekomstige langdurige implementaties van sociale robots baat zullen hebben bij architecturen die contexttypen structureel scheiden, wat een robuustere adaptatie aan diverse en veranderende real-world omgevingen mogelijk maakt. De auteurs erkennen beperkingen, zoals het gebruik van synthetische data en de afhankelijkheid van panoptische segmentatie, en stellen toekomstig werk voor in real-world validatie, de uitlegbaarheid van de bijdragen van de takken en adaptieve fusiemechanismen.