HOI-aware Adaptive Network for Weakly-supervised Action Segmentation

1. Probleemstelling

Het artikel behandelt de uitdaging van Weakly-Supervised Action Segmentation (WSAS), waarbij het doel is om voor elk frame in een video de actie-label te voorspellen met uitsluitend een transcript (een geordende lijst van acties) als supervisie, zonder precieze start-/eindtijdstippen.

Belangrijkste geïdentificeerde uitdagingen:

• Ambiguïteit bij vergelijkbare acties: Bestaande methoden vertrouwen vaak op vaste temporele encoders die lokale buurten van frames analyseren. Dit faalt in het onderscheiden van semantisch vergelijkbare acties (bijvoorbeeld "koffie inschenken" versus "sinaasappelsap inschenken") omdat de visuele kenmerken van de directe frames sterk op elkaar lijken.
• Gebrek aan globale context: Huidige benaderingen behandelen videoclips als vaste lengte-invoer, waardoor ze de bredere context missen die door de volledige videosequentie wordt geboden.
• Statische netwerken: De meeste methoden gebruiken een vaste netwerkarchitectuur voor alle video's, wat voorkomt dat het model zich aanpast aan de specifieke semantische context (bijvoorbeeld de specifieke aanwezige objecten) van een gegeven video op het moment van testen.

2. Methodologie: AdaAct

De auteurs stellen AdaAct voor, een adaptief netwerk dat Mens-Object Interacties (HOI) benut als video-niveau voorkennis om netwerkp parameters dynamisch aan te passen tijdens inferentie. De architectuur bestaat uit twee hoofdcomponenten:

A. Video HOI Encoder

Deze module extrahert, selecteert en integreert HOI-informatie uit de volledige video om een globale contextvector te creëren. Het werkt in drie fasen:

1. Extraheren: De video wordt down-gesampled (15 FPS), en een vooraf getrainde HOI-detector (bevriezen gewichten) identificeert bounding boxes voor handen en objecten, samen met interactie-vertrouwensscores.
2. Selecteren (Video-NMS): Een nieuw Video-NMS-algoritme filtert de gedetecteerde interacties. In tegenstelling tot standaard NMS, dat alleen Intersection over Union (IoU) gebruikt, voegt dit een temporele constraint toe om dubbele hoge-score detecties over de tijd te verwijderen. De top-$K$ interacties worden geselecteerd.
3. Integreren: De geselecteerde $K$ interacties worden verwerkt door een Transformer-gebaseerd netwerk (ViT). Een leerbare token wordt toegevoegd aan de reeks HOI-embeddings, en de output-status van deze token dient als HOI-afhankelijke kennis ($s$).

B. Adaptieve Temporele Encoder (HyperNetwork)

In plaats van een vaste temporele encoder te gebruiken, maakt AdaAct gebruik van een twee-takken HyperNetwork om de gewichten en biases van de temporele encoder (een GRU-gebaseerde backbone) dynamisch te genereren op basis van de HOI-context van de invoervideo.

• HOI-Onafhankelijke Tak ($z$): Leert algemene kenmerken van instructievideo's. Het onderhoudt een leerbare embedding-lijst die tijdens training iteratief wordt bijgewerkt. Deze tak vangt overdraagbare kennis op die gemeenschappelijk is voor alle video's.
• HOI-Afhankelijke Tak ($s$): Neemt de gecodeerde HOI-kenmerkvector (van de Video HOI Encoder) als invoer. Het past de encoder specifiek aan op de unieke objectinteracties die in de huidige video aanwezig zijn.
• Fusie: De gewichten ($W$) en biases ($b$) voor de temporele encoder worden gegenereerd door de outputs van beide takken te fuseren (elementsgewijze vermenigvuldiging voor gewichten). Dit stelt het netwerk in staat om "on-the-fly" zijn parameters aan te passen om vergelijkbare acties te onderscheiden op basis van de specifieke gedetecteerde objecten (bijvoorbeeld het zien van een "pers" en een "sinaasappel" beïnvloedt het model naar "sinaasappelsap inschenken" in plaats van "koffie").

C. Training en Decoding

• Verliesfunctie: Het model wordt getraind met een Constrained Discriminative Forward Loss, die het energieververschil tussen geldige en ongeldige segmentaties maximaliseert.
• Decoding: Tijdens inferentie wordt het Viterbi-algoritme gebruikt om de optimale actiesequentie en segmentlengtes te vinden op basis van de frame-voor-frame waarschijnlijkheden gegenereerd door de adaptieve encoder.

3. Belangrijkste Bijdragen

1. Eerste Adaptieve Temporele Encoder voor WSAS: Het artikel introduceert het eerste kader waarbij de parameters van de temporele encoder dynamisch worden aangepast aan de inhoud van de invoervideo tijdens de testtijd, in plaats van een statisch model te gebruiken.
2. HOI als Globale Prior: Het stelt voor om temporeel globaal maar ruimtelijk lokaal HOI-informatie te benutten om ambiguïteit op te lossen. Door sleutelobjecten (bijvoorbeeld een mes versus een koffiepot) over de hele video te identificeren, verkrijgt het model cruciale context om vergelijkbare acties te onderscheiden.
3. State-of-the-Art Prestaties: De methode bereikt superieure resultaten op twee uitdagende datasets (Breakfast en 50Salads) voor zowel actie-segmentatie als actie-uitlijningstaken.

4. Experimentele Resultaten

De methode werd geëvalueerd op de Breakfast en 50Salads datasets met behulp van vier metrieken: Mean over Frame (MoF), MoF zonder Achtergrond (MoF-BG), Intersection over Union (IoU) en Intersection over Detection (IoD).

• Breakfast Dataset: AdaAct behaalde 51,2% MoF en 48,3% MoF-BG, wat een prestatie is die de vorige state-of-the-art (CDFL/TASL) met respectievelijk 1,4% en 1,2% overtreft.
• 50Salads Dataset: AdaAct behaalde 55,6% MoF en 50,3% MoF-BG, een verbetering ten opzichte van de baseline van 0,9% en 0,5%.
• Actie-uitlijning: Zelfs wanneer transcripten worden verstrekt tijdens inferentie (een sterkere supervisie-instelling), presteerde AdaAct nog steeds beter dan bestaande methoden, met een +1,8% MoF winst op 50Salads.
• Ablatiestudies:
  • Het verwijderen van HOI-afhankelijke kennis liet MoF met 3,7% dalen.
  • Het verwijderen van HOI-onafhankelijke kennis liet MoF met 0,9% dalen.
  • De optimale kennisdimensie bleek 128 te zijn.
• Kwalitatieve Analyse: Het model corrigeerde succesvol fouten bij "inschenken"-acties (koffie versus sap versus melk) door gebruik te maken van de aanwezigheid van specifieke objecten (bijvoorbeeld een pers) die in de HOI-encoder werden gedetecteerd, wat vaste methoden misten.

5. Betekenis

Dit werk vertegenwoordigt een significante verschuiving in weakly-supervised actie-segmentatie door te bewegen van statische kenmerkextractie naar dynamische, contextbewuste parameteraanpassing.

• Oplossen van Ambiguïteit: Het lost effectief het "vergelijkbare actie"-probleem op door video-niveau semantische context (HOI) direct in het beslissingsproces van het netwerk te injecteren.
• Efficiëntie: Het bereikt deze winsten zonder dure frame-niveau annotaties te vereisen, en vertrouwt uitsluitend op transcripten en vooraf getrainde HOI-detectoren.
• Generaliseerbaarheid: De "extraheren-selecteren-integreren"-pijplijn voor HOI en de HyperNetwork-benadering voor parameteraanpassing bieden een nieuw paradigma voor het omgaan met temporele ambiguïteit in videobegripstaken.