Technische Samenvatting: SERUM – State Extraction and Refinement for User Modeling

Probleemstelling

Proactieve, gepersonaliseerde AI-assistenten vereisen gestructureerde modellen van gebruikersintentie en workflows. Het construeren van deze modellen vanuit ruwe, ongestructureerde egocentrische video blijft echter een aanzienlijke uitdaging. Bestaande benaderingen kampen met twee primaire beperkingen:

1. Afhankelijkheid van vooraf gedefinieerde taxonomieën: Traditionele methoden voor activiteitsherkenning (bijv. op EPIC-KITCHENS of Ego4D) vertrouwen op vaste, handmatig ontworde taxonomieën, wat niet volstaat voor het verwerken van open einde, ongestructureerde video.
2. Beperkingen van Single-Pass Annotatie: Hoewel Vision-Language Models (VLM's) videoframes kunnen annoteren, lijdt single-pass inferentie aan hallucinatie en temporele conflatie. Zonder omringende context neigen VLM's semantisch verschillende activiteiten te reduceren tot generieke labels of falen ze in het afleiden van de onderliggende intentie van een actie, aangezien de betekenis van een specifiek frame vaak pas retrospectief duidelijk wordt.

Process mining biedt gestructureerde gedragsmodellen, maar gaat uit van het bestaan van schone event logs met bekende eventtypes, wat niet van toepassing is op ruwe video.

Methodologie: Het SERUM-framework

SERUM (State Extraction and Refinement for User Modeling) is een multi-pass framework ontworpen om interpreteerbare, gestructureerde gedragsmodellen direct te extraheren uit ongestructureerde egocentrische schermvideo zonder handmatige annotatie of vooraf gedefinieerde ontologieën.

Kernarchitectuur

Het framework opereert op twee complementaire niveaus:

• Acties ($a_t$): Middel-niveau, observeerbare gedragingen (bijv. "een git repository binnenhalen").
• Intenties ($i_t$): Latente, doelgerichte staten afgeleid van actiesequenties (bijv. "het opzetten van een dev environment").
  Het systeem maakt gebruik van een afwisselende multi-pass pipeline met het Qwen3-VL-8B-Instruct model:

1. Afwisselende passes: Het systeem voert oneven passes uit om acties te annoteren en even passes om intenties af te leiden.
2. Contextuele gronding:
   • Temporele context: Een sliding window van $w=20$ naburige frames wordt gecodeerd als een Run-Length Encoding (RLE) om dichte lokale context te bieden zonder de tokenlimieten te overschrijden.
   • Inter-Pass Samenvatting: Een natuurlijke taal samenvatting van de gehele video (gegenereerd via map-reduce voor lange video's) propageert de globale narratieve context naar voren, fungerend als gecomprimeerd episodisch geheugen.
3. Iteratieve Verfijning: Elke pass conditioneert zijn output op de labels die in de vorige pass zijn gegenereerd. Deze feedbackloop stelt het model in staat om eerdere oordelen te herzien naarmate de context zich ophoopt, wat het systeem stuurt naar een zelfconsistent vocabulaire.

Label Normalisatie

Om het "open-vocabulary" probleem aan te pakken waarbij vrije annotatie oppervlakkige synoniemen produceert (bijv. "spoelen van groenten" vs. "schoonmaken van groenten"), hanteert SERUM een stap voor label normalisatie:

• Semantische Versmelting: Paarsgewijze cosine gelijkenis wordt berekend met behulp van Sentence-BERT embeddings.
• Drempelwaarde: Een door mensen gekalibreerde drempelwaarde ($t^*=0.43$) voegt synonieme labels samen. Deze stap reduceert de omvang van de vocabulaire met gemiddeld ongeveer 46% en wordt beschouwd als een kerncomponent van het ontwerp in plaats van een post-hoc oplossing.

Output: Gebruikersmodellen

De uiteindelijke output bestaat uit twee First-Order Markov Modellen (Gebruikersmodellen):

• Eén model over de gekanoniseerde actiestaten.
• Eén model over de gekanoniseerde intentiestaten.
  Deze modellen zijn gerichte gewogen grafen waarbij randen (edges) transitiekansen vertegenwoordigen, waardoor de probabilistische structuur van gebruikersgedrag wordt vastgelegd om de volgende-staat voorspelling te ondersteunen.

Belangrijkste Bijdragen en Resultaten

De auteurs evalueerden SERUM op 61 egocentrische video's over vier domeinen: coderen, koken, fysieke activiteiten en dagelijks leven (totaal 11.125 frames).

1. Schematische Evenwicht (RQ1)

Het iteratieve annotatieproces convergeert naar een stabiele staat-vocabulaire.

• Convergentie: De ruwe vocabulaire omvang stabiliseert bij Pass 8, een fenomeen dat de auteurs schematisch evenwicht noemen.
• Impact van Normalisatie: Label normalisatie comprimeert de vocabulaire verder naar een stabiele omvang van ~10 staten, wat de sparsity in de transitiematrices aanzienlijk vermindert.

2. Voorspellende Prestaties (RQ2)

De resulterende Markov-modellen werden geëvalueerd op next-state voorspelling (trainen op de eerste 60% van de frames, testen op de resterende 40%).

• Superieuriteit over Baselines: Genormaliseerde Markov-modellen presteren significant beter dan frequentie-gebaseerde baselines (Majority, Weighted Random, Uniform) in zowel Top-1 nauwkeurigheid als Perplexity.
  • Actievoorspelling: Genormaliseerde Markov behaalde 48,5% Top-1 nauwkeurigheid vs. 37,6% voor de Majority baseline.
  • Intentievoorspelling: Genormaliseerde Markov behaalde 58,2% Top-1 nauwkeurigheid vs. 29,9% voor de Majority baseline.
• Domein Variantie: De grootste winsten werden waargenomen in gestructureerde taken zoals coderen (76,4% genormaliseerde actie nauwkeurigheid), wat de repetitieve transitiestructuren reflecteert die inherent zijn aan dergelijke workflows.

3. Menselijke Beoordeling (RQ3)

Menselijke annotatoren met domeinexpertise evalueerden de kwaliteit van de labels.

• Nauwkeurigheid: 88,3% van de final-pass labels werd beoordeeld als accuraat (Krippendorff's $\alpha = 0.40$).
• Voorkeur: Annotatoren gaven de voorkeur aan final-pass labels boven first-pass labels in 82,8% van de gevallen, wat aangeeft dat iteratieve verfijning betekenisvol betere labels produceert.
• Intentie vs. Actie: Intentie-labels waren iets nauwkeuriger (90%) dan actie-labels (86,7%), wat suggereert dat de contextbewuste inferentie effectief ambiguïteit in doelen wegneemt.

4. Ablatie Studies (RQ4)

• Label Normalisatie: Het samenvoegen van synoniemen verbeterde de Markov Top-1 nauwkeurigheid met +18,2 procentpunt en verminderde de perplexity met 14,9 punten.
• Intentie Passes: Het verwijderen van intentie-inferentie (alleen activiteit-pipeline) zorgde ervoor dat activie-labels inklapten tot oninformatieve dominante staten (bijv. "typen_op_toetsenbord" voor 92–96% van de coderingsframes). Annotatoren gaven de voorkeur aan de volledige pipeline (activiteit + intentie) in 73% van de gevallen.
• Temporele Window: Het vergroten van de context window grootte ($w=20$) verbeterde de kloof tussen Markov en Majority baselines, wat bevestigt dat temporele context cruciaal is voor de modelkwaliteit.

Betekenis en Claims

Het artikel claimt dat SERUM, naar weten, het eerste systeem is dat interpreteerbare procesmodellen (zowel actie als intentie) produceert direct uit ongestructureerde egocentrische schermvideo zonder:

• Handmatige annotatie.
• Vooraf gedefinieerde taxonomieën.
• Bestaande event logs.

De auteurs positioneren SERUM als een vroege validatie voor downstream toepassingen in proactieve agentic assistentie en personalisatie, en bieden een schaalbaar pad voor gebruikersmodellering "in het wild". Ze erkennen beperkingen, zoals de computationele kosten van de multi-pass pipeline (hoewel deze aan de voorkant wordt afgehandeld) en de uitdaging van split-half evaluatie op lineaire video's, maar benadrukken het vermogen van het systeem om hallucinaties te corrigeren via iteratieve context en consensus.

Het werk demonstreert dat iteratieve, contextbewuste VLM-annotatie hallucinaties en temporele conflatie kan onderdrukken, wat convergeert naar een stabiele, door mensen gevalideerde gedragstaxonomie die de voorspellende modellering van gebruikersworkflows mogelijk maakt.