Multiview Progress Prediction of Robot Activities

Probleemstelling

Voor robots om veilig en effectief samen te werken met mensen, is het cruciaal dat ze niet alleen begrijpen welke actie wordt uitgevoerd, maar ook hoe ver die actie is gevorderd (actievoortgang). Dit concept, bekend als "action progress prediction", is essentieel voor tijdige assistentie, autonome besluitvorming en het detecteren van fouten.

Echter, bestaande onderzoek naar actievoortgang is vaak beperkt tot één camera-perspectief. In robotische omgevingen is een enkele camera vaak ontoereikend vanwege:

1. Zelf-occlusie: De eigen armen van de robot kunnen het werkgebied verbergen.
2. Complexiteit: Complexe manipulatie taken vereisen vaak meerdere hoeken om volledig begrepen te worden.
3. Gebrek aan robuustheid: Eén perspectief kan leiden tot onnauwkeurige waarnemingen van ruimtelijke relaties.

Methodologie

De auteurs stellen een multi-view architectuur voor die specifiek is ontworpen voor robotische manipulatie taken.

1. Dataverzameling en Setup:

• Er wordt gebruikgemaakt van de Mobile ALOHA-dataset, die ongeveer 300 demonstraties bevat van een bimanuele robot.
• De setup omvat drie gesynchroniseerde camera's: één egocentrisch (op het hoofd van de robot) en twee extern gemonteerd (op de linker- en rechterarm).
• De data bevat ook bewegingsinformatie (snelheid, koppel, hoeken) van de basis en de armen, die worden gebruikt om de start- en eindpunten van acties te definiëren.

2. Architectuur:
Het model is een multi-stream deep learning pipeline:

• Visuele Backbone: Verwerkt beelden van de drie camera's. Er worden verschillende backbones getest, waaronder ViT-B/16 (Vision Transformer), MobileNetV2, ResNet18 en ResNet152. De ViT wordt gebruikt door de classificatielaag te verwijderen en patch-embeddings te genereren.
• Spatiale Pyramid Pooling (SPP): Omdat verschillende backbones verschillende feature-shapes produceren, worden deze via een SPP-module (met diepte 3: 1x1, 2x2, 3x3) genormaliseerd naar een uniforme grootte.
• Fusie: De features van de drie camera's worden samengevoegd (geconcateneerd) tot één vector.
• Temporele Modellering: De geconcateneerde features worden verwerkt door een reeks volledig verbonden lagen (FC), Dropout en ReLU, gevolgd door twee gestapelde LSTM-lagen (Hidden size 32). De LSTM voorspelt de voortgang op causale wijze (alleen gebaseerd op huidige en vorige frames).

3. Training en Augmentatie:
Om te voorkomen dat het model triviale oplossingen leert (zoals het simpelweg tellen van frames of het voorspellen van een constante waarde), worden specifieke augmentatiestrategieën toegepast:

• Variabele Frame Rate: Randomiseert de tijdsduur van videosegmenten tijdens training, zodat het model niet kan leren dat een actie altijd even lang duurt.
• Segment-based Training: In plaats van volledige video's te gebruiken, worden willekeurige segmenten van verschillende lengtes en startpunten getraind. Dit forceert het model om te vertrouwen op visuele cues in plaats van op de temporale structuur van de volledige actie.

Belangrijkste Bijdragen

1. Aandacht voor Actievoortgang: Het paper benadrukt dat het voorspellen van actievoortgang een kerncapaciteit is voor intelligente robotsystemen, een gebied dat vaak wordt genegeerd in de robotica.
2. Nieuwe Multi-stream Architectuur: Een innovatieve deep learning architectuur die informatie van meerdere camera's fuseert om robuuste voortgangsschattingen te maken.
3. Validatie van Multi-view Superioriteit: Het aantonen dat multi-view benaderingen significant beter presteren dan single-view methoden, vooral door occlusies te overwinnen.
4. Analyse van Trainingstrategieën: Een kritische analyse van hoe training op volledige video's versus segmenten de generalisatie en het vermijden van "shortcuts" beïnvloedt.

Resultaten

De experimenten zijn uitgevoerd op de Mobile ALOHA dataset met Mean Absolute Error (MAE) als hoofdmeter.

• Vergelijking met Baselines: Het voorgestelde model overtreft aanzienlijk de baselines (random voorspelling, statische voorspelling van 0.5, en "Average Index").
• Backbone Prestaties: Hoewel ResNet18 een iets lagere totale MAE had voor volledige sequenties, presteerde de Vision Transformer (ViT) het beste in de latere stadia van een actie ([25-100]% voortgang). Dit suggereert dat ViT beter is in het volgen van de actie naarmate deze vordert.
• Impact van Multi-view:
  • De centrale camera (hoofd) was de meest informatieve enkele bron, waarschijnlijk omdat de arm-camera's vaker geoccludeerd worden.
  • Fusie is cruciaal: Het combineren van alle drie de camera's leverde de beste resultaten op voor elke individuele taak. Bijvoorbeeld, voor de taak "Use Cabinet" daalde de MAE van 5,90% (beste enkele camera) naar 4,11% bij multi-view fusie.
• Effect van Segment Training: Modellen getraind op volledige video's faalden vaak in de latere delen van acties (hoge MAE in het [75-100]% interval). Segment-based training verbeterde de generalisatie aanzienlijk, hoewel de totale MAE soms iets hoger was, was het model wel beter in staat om te reageren op visuele cues in plaats van op tijdsbias.

Betekenis en Conclusie

Dit paper toont aan dat voor robuuste robotica, en specifiek voor interactie met mensen, het gebruik van meerdere camera-perspectieven noodzakelijk is om zelf-occlusie te overwinnen en een compleet beeld van de actie te krijgen. De voorgestelde multi-view architectuur, gecombineerd met een zorgvuldig ontworpen segment-based trainingstrategie, biedt een nieuwe standaard voor het schatten van actievoortgang. Dit stelt robots in staat om menselijke behoeften beter te anticiperen, taken veiliger uit te voeren en fouten in real-time te detecteren en corrigeren.