Perceive What Matters: Relevance-Driven Scheduling for Multimodal Streaming Perception

Probleemstelling

In moderne mens-robot samenwerking (HRC) moeten robotagenten continu visuele, auditieve en contextuele gegevens verwerken om de omgeving te begrijpen en gepaste hulp te bieden. Bestaande systemen voeren vaak meerdere perceptiemodules (zoals objectdetectie en pose-schatting) uit op een frame-per-frame basis om offline kwaliteit te maximaliseren. Dit leidt echter tot twee kritieke problemen in streaming-scenario's:

1. Hoge Latentie: Het gelijktijdig uitvoeren van zware modules op elk frame veroorzaakt aanzienlijke vertraging, wat de real-time prestaties van het systeem ondermijnt.
2. Suboptimale Resource-toewijzing: Bestaande methoden activeren modules vaak op basis van "bereidheid" (wanneer de vorige taak klaar is) of statische criteria, zonder rekening te houden met de daadwerkelijke informatiewaarde van het huidige frame. Dit resulteert in redundantie (het verwerken van onbelangrijke frames) en het missen van kritieke momenten.

Bestaande oplossingen zoals keyframe-detectie zijn vaak niet geschikt voor real-time streaming omdat ze toegang tot de volledige videosequentie vereisen of te afhankelijk zijn van visuele salientie in plaats van taakgerelateerde relevantie.

Methodologie

De auteurs introduceren een lichtgewicht, relevantie-gedreven perceptie-schedulingsframework dat modules selectief activeert op basis van de context van de scène. Het systeem werkt als volgt:

1. Perceptie Toolkit & Contextanalyse:

   • Het systeem beschouwt alle schedulbare modules (bijv. YOLO voor objectdetectie, MMPose voor menselijke pose) als elementen in een gedeelde "Perceptie Toolkit".
   • De scène wordt gepartitioneerd in regio's (achtergrond, objecten, mensen). Voor elke regio worden twee attributen bepaald: bewegingsstatus (via frame-differentiatie) en relevantie (de bijdrage aan het menselijke doel, gebaseerd op eerdere voorspellingen).

2. Beloningsmodel (Reward Modeling):

   • Voor elke module $m_j$ wordt op elk tijdstip $t$ een beloning $\rho_j$ berekend. Deze beloning is een afweging tussen de verwachte informatiewinst en de rekenkundige kosten.
   • Informatiewinst: Wordt geschat via entropiereductie.
     • Voor objectdetectie: Gebaseerd op de vermindering van onzekerheid in bounding box-schattingen (gebruikmakend van Kalman-filters) en het detecteren van nieuwe/verdwijnende objecten.
     • Voor pose-schatting: Gebaseerd op de overgang van onzekerheid over een bounding box naar de precisie van sleutelpunten (keypoints). De onzekerheid wordt gemodelleerd als een uniforme verdeling binnen de box versus een Gaussische verdeling gebaseerd op het vertrouwen van het model.
   • Kosten: De inferentieltijd van de module.
   • De beloningsformule is: $\rho_j = \text{Informatiewinst} - \lambda \cdot \text{Kosten}$.

3. Schedulingsbeslissing:

   • De scheduler activeert een module alleen als de geschatte beloning positief is ($\rho_j > 0$) of als er een vooraf bepaalde noodzaak is.
   • Als een module niet wordt geactiveerd, wordt de output geschat via een lichtgewicht methode (bijv. voorspelling met bewegingsmodellen), waardoor de continuïteit van de perceptiestroom behouden blijft zonder de volledige rekenkosten.

Belangrijkste Bijdragen

1. Concept van Perceptie-Schedulering: Het introduceren van een nieuw paradigma voor multi-modale systemen dat module-activatie optimaliseert om de totale rekenlast te minimaliseren, in plaats van alleen inferentie binnen een frame te optimaliseren.
2. Informatie-theoretische Methode: Een nieuwe methode om de nuttigheid van module-activatie te schatten op basis van entropiereductie en contextuele relevantie, toepasbaar op diverse perceptiemodules.
3. Nieuwe Evaluatiemetrics: De ontwikkeling van een nieuwe metric voor real-time scenario's: Keyframe Accuracy (het vermogen om te voorspellen welke frames belangrijk zijn, onafhankelijk van inferentie-achterstand) en Activation Recall.
4. Empirische Validatie: Uitgebreide experimenten in verschillende streaming-domeinen die aantonen dat het framework efficiëntie verbetert zonder de perceptiekwaliteit significant te verlagen.

Resultaten

De prestaties zijn getest op drie videodomeinen (Indoors lezen, Eten, Wandelen) en vergeleken met een conventionele parallelle pipeline en een "Oracle" (ideale) scheduler.

• Latentie: Het framework reduceerde de rekenlatentie met maximaal 27,52% ten opzichte van de parallelle pipeline. De reductie was het grootst in statische scenario's (Lezen), waar minder informatie te winnen valt.
• Activatie Recall (MMPose): Er was een verbetering van 72,73% in het herkennen van frames waar pose-schatting noodzakelijk was, vergeleken met de standaard parallelle aanpak. Dit komt doordat het systeem dynamische scènes beter detecteert.
• Keyframe Accuracy: Het systeem behaalde een nauwkeurigheid van tot 98% bij het identificeren van belangrijke frames om te verwerken.
• Kwaliteit: Er was slechts een minimale daling in de YOLO-recall (objectdetectie), wat aantoont dat de efficiëntiewinst niet ten koste gaat van de algemene perceptiekwaliteit.

Betekenis en Toekomstperspectief

Dit paper biedt een schaalbare en systematische oplossing voor multimodale streaming-perceptie in HRC. Door te imiteren hoe het menselijk brein (het reticulaire activerende systeem) prikkels filtert op basis van relevantie, kan een robot zijn rekenkracht richten op wat er werkelijk gebeurt.

• Schaalbaarheid: Het framework is modulair en kan worden uitgebreid met zwaardere modellen, zoals Vision-Language Models (VLMs), mits de beloningsformulering wordt aangepast aan hun specifieke informatiekenmerken.
• Toekomstig Werk: De auteurs richten zich op het uitbreiden van het framework naar scenario's met meerdere robots en het beheersen van gedeelde rekenkracht (resource coupling) bij het schedulen van grotere sets modules.

Kortom, deze studie beweert dat "minder verwerken" (door slim te kiezen) leidt tot "beter reageren" in real-time robotica, doordat systemen minder tijd verliezen aan irrelevante data en sneller kunnen reageren op kritieke gebeurtenissen.