Multimodal Anomaly Detection for Human-Robot Interaction

Probleemstelling

De integratie van robots in mensgerichte omgevingen (zoals logistiek, productie en zorg) vereist een hoge mate van veiligheid en betrouwbaarheid. Hoewel standaard veiligheidsprotocollen bekende risico's mitigeren, zijn ze vaak ontoereikend voor het detecteren van anomalieën: onverwachte gebeurtenissen die afwijken van een gedefinieerde "normale" staat.
Bestaande methoden voor anomaliedetectie in de robotica vertrouwen vaak op reconstructiemodellen (zoals auto-encoders) die direct werken op ruwe invoergegevens (bijv. pixelwaarden van videostreams). Dit heeft twee belangrijke nadelen:

1. Het is computatie-intensief.
2. Het worstelt met generalisatie onder dynamische omstandigheden en kan zich richten op irrelevante visuele details (zoals achtergrondtexturen) in plaats van semantische betekenis.
   Daarnaast missen veel systemen de integratie van interne robotdata, waardoor ze interne mechanische storingen of sensorafwijkingen niet kunnen detecteren die niet direct zichtbaar zijn in de video.

Methodologie: Het MADRI Framework

De auteurs stellen MADRI (Multimodal Anomaly Detection for Human-Robot Interaction) voor, een raamwerk dat anomaliedetectie uitvoert op semantische feature-vectors in plaats van op ruwe pixels, en dat meerdere modaliteiten combineert.

Het proces verloopt als volgt:

1. Visuele Feature Extractie:

   • In plaats van videoframes direct te reconstrueren, wordt een vooringestelde Swin3D-model (getraind op het Kinetics-dataset voor menselijke actieherkenning) gebruikt.
   • Het model wordt fine-getuned op een specifiek mens-robot interactietask (pick-and-place) en de classificatielaag wordt verwijderd.
   • Het resultaat is een 768-dimensionale feature-vector per videoclip die de semantische betekenis van de actie vastlegt (bijv. "mensen geven een kopje door", "robot pakt een object").

2. Multimodale Integratie:
   De visuele features worden verrijkt met twee extra bronnen:

   • Sensordata: Interne robotdata, specifiek koppelwaarden (torque) van de gewrichten en gripper-posities. Deze data wordt via Max Pooling over de tijdas verwerkt om de dimensie te reduceren en de meest informatieve momenten te behouden.
   • Scene Graph: Een tijdsgebonden grafiek gegenereerd door het OED-model, waarbij knopen mens/objecten voorstellen en randen de relaties tussen hen. Dit wordt omgezet in een matrix en aan de feature-vector toegevoegd.

3. Reconstructie en Detectie:

   • De samengevoegde multimodale feature-vector wordt ingevoerd in een Autoencoder.
   • De autoencoder wordt getraind om alleen de verdeling van normaal gedrag te leren en te reconstrueren.
   • Tijdens inferentie wordt de reconstructiefout (L1-loss) berekend. Een fout boven een bepaalde drempelwaarde (bepaald via F1-score optimalisatie) wordt gemarkeerd als een anomalie.

Belangrijkste Bijdragen

• MADRI Framework: Een nieuw raamwerk dat visuele data, robot-sensordata en een Scene Graph combineert voor robuuste anomaliedetectie.
• Feature-based Reconstructie: Het aantonen dat het uitvoeren van reconstructie in een semantisch betekenisvolle feature-ruimte (in plaats van pixel-ruimte) effectiever en efficiënter is voor videobased detectie.
• Aangepast Dataset: Het verzamelen van een custom dataset met mens-robot overdrachtstaken (pick-and-place) onder zowel normale als anomalie-condities (bijv. kopjes laten vallen, botsingen, extra personen).
• Multimodale Validatie: Een uitgebreide experimentele evaluatie die aantoont dat het toevoegen van modaliteiten de prestaties significant verbetert ten opzichte van visie-only methoden.

Resultaten en Evaluatie

De auteurs hebben een ablatiestudie uitgevoerd met vier configuraties:

1. Alleen Visie (Vision-only)
2. Visie + Sensoren (Vision + Sensor)
3. Visie + Scene Graph (Vision + SGG)
4. Alle modaliteiten (Multimodal)

Kernbevindingen:

• Sensorintegratie is cruciaal: Het toevoegen van sensordata (koppelwaarden) leidde tot de grootste verbetering in detectieprestaties. Dit model kon storingen die gerelateerd waren aan mechanische stress (bijv. het bereiken van gewrichtslimieten) veel beter detecteren dan het visie-only model.
• Vermindering van valse positieven: De multimodale aanpak helpt om "valse pieken" in de reconstructiefout te mitigeren. Waar het visie-only model soms normaal gedrag als abnormaal interpreteerde door visuele fluctuaties, bleef het multimodale model stabiel dankzij de context van de sensoren.
• Beperkingen van de Scene Graph: Curieus genoeg presteerde het model met de Scene Graph (Vision + SGG) slechter dan het visie-only model. De auteurs attribueren dit aan de lage prestaties van de Scene Graph-generator en het feit dat de anomalieën in hun dataset voornamelijk mechanisch of visueel waren, en niet primair "relationeel" van aard.
• ROC-analyse: De ROC-curves bevestigden dat de combinatie van visie en sensoren de beste balans bood tussen sensitiviteit en specificiteit.

Betekenis en Toekomstperspectief

Dit werk onderstreept dat single-modality modellen (alleen visie) beperkt zijn in het volledig detecteren van het spectrum aan anomalieën in mens-robot interactie. Door interne robottoestanden (sensoren) te combineren met externe waarneming (visie), ontstaat een robuuster systeem dat zowel externe gebeurtenissen als interne mechanische storingen kan herkennen.

De studie biedt een bewijs van concept (proof of concept) voor het gebruik van semantische feature-reconstructie in plaats van pixel-reconstructie, wat rekenkracht bespaart en de focus legt op relevante actiepatronen. Toekomstig werk richt zich op het uitbreiden van de dataset met diverse taken, het integreren van extra modaliteiten en het uitbreiden van het model voor gedetailleerde classificatie van specifieke fouttypes.