Personalized and Robust Proactive Robot Assistance with Uncertainty-Guided LLM Reasoning

Technische Samenvatting: GLOBE – Gepersonaliseerde en Robuuste Proactieve Robotassistentie

Probleemstelling
Proactieve robotassistentie in huishoudelijke omgevingen vereist de nauwkeurige voorspelling van menselijke activiteiten en het daaropvolgende gebruik van objecten onder dynamische en ruisgevoelige omstandigheden. Bestaande benaderingen, zoals spatio-temporele modellen (bijv. STOT, SLaTe-PRO), vertrouwen vaak op complexe architecturen die computationeel duur en gevoelig zijn voor omgevingsvariabiliteit. Deze methoden hebben vaak moeite met realistische ruis, zoals objectverplaatsingen veroorzaakt door huisdieren, peuters of incidentele menselijke handelingen, die niet expliciet worden gemodelleerd in standaard datasets. Bovendien is er behoefte aan frameworks die een balans vinden tussen voorspellende nauwkeurigheid, computationele efficiëntie en robuustheid voor langdurige inzetbaarheid.

Methodologie: Het GLOBE-framework
De auteurs stellen GLOBE voor (uncertainty-Guided LLM reasoning for routine Object prediction via Behavioral tEmporal modeling), een lichtgewicht hybride framework ontworpen om het gebruik van objecten te voorspellen voor proactieve assistentie. Het systeem werkt via een tweefasig proces: een observatiefase (training) en een assistentiefase (inferentie).

1. Sequentiële voorspelling via n-gram Markovmodellen:

   • Activiteitsvoorspelling: Het systeem traint n-gram Markovmodellen op sequentiële gebruikersactiviteitsgegevens. Het berekent overgangskansen op basis van recente activiteitshistorie ($c_{act}$). Om beperkte context op te vangen, gebruikt het model een "back-off"-strategie, waarbij progressief kortere historische sequenties worden gebruikt als de langste geobserveerde sequentie niet tijdens de training is tegengekomen.
   • Objectvoorspelling: Het gebruik van objecten wordt voorspeld onder conditie van de voorspelde activiteit ($\hat{a}_t$) en recente objecthistorie ($c_{obj}$) binnen die specifieke activiteitscontext. Het model beperkt voorspellingen tot de set objecten die samen met de activiteit voorkomen, wat zorgt voor contextuele consistentie.

2. Onzekerheidsgestuurde LLM-redenering:

   • Om schaarste, ambiguïteit of ongeziene patronen aan te pakken waarbij de betrouwbaarheid van het Markovmodel laag is, roept het framework selectief een vooraf getraind Large Language Model (LLM) aan.
   • Een betrouwbaarheidsdrempel ($d$) bepaalt wanneer het LLM wordt geactiveerd. Als de waarschijnlijkheid van het sequentiële model onder deze drempel valt, wordt het LLM bevraagd met de recente activiteit, de objectsequentie en een gefilterde set van de top-$k$ kandidaten uit het n-grammodel.
   • Het LLM gebruikt zijn semantische redeneervermogen om de voorspelling te verfijnen, rekening houdend met bredere contextuele kennis, zonder de enige beslisser te zijn.

3. HOMER-Noise Dataset:

   • Om de robuustheid te evalueren, introduceren de auteurs HOMER-Noise, een uitbreiding van de bestaande HOMER+-dataset.
   • Deze dataset simuleert realistische omgevingsverstoringen door gestructureerde objectbewegingen te injecteren die worden veroorzaakt door drie verschillende bronnen: Persoon (herorganiseren/opruimen), Huisdier (incidentele verplaatsing) en Peuter (onvoorspelbare willekeurige beweging).
   • Deze verstoringen worden gegenereerd met behulp van LLM's om semantische consistentie met de huishoudelijke omgeving te garanderen, waardoor een benchmark ontstaat die onderscheid maakt tussen activiteitsgeïnduceerde veranderingen en externe ruis.

Belangrijkste Bijdragen

• GLOBE Framework: Een hybride architectuur die efficiënte n-gram Markovmodellering combineert met selectieve, onzekerheidsgestuurde LLM-redenering voor routinepatronen en randgevallen. Dit ontwerp vermijdt de computationele overhead van het gebruiken van LLM's voor elke voorspelling.
• HOMER-Noise Dataset: Een nieuwe dataset-uitbreiding die expliciet gestructureerde omgevingsruis modelleert (interacties van mensen, huisdieren, peuters) om de variabiliteit van huishoudens in de echte wereld beter te simuleren.
• Robuustheid en Efficiëntie: De aanpak laat zien dat lichtgewicht sequentiële modellen, aangevuld met LLM's wanneer dat nodig is, concurrerende prestaties kunnen leveren met state-of-the-art (SOTA) methoden, terwijl ze tegelijkertijd de trainingstijd aanzienlijk verkorten en de veerkracht tegen ruis verbeteren.

Experimentele Resultaten
Het framework werd geëvalueerd op zowel de schone HOMER+-dataset als de ruisgevoelige HOMER-Noise dataset, waarbij de prestaties werden vergeleken met SLaTe-PRO, STOT, standalone n-grammodellen en zero-shot LLM-baselines.

• Voorspellende Prestaties: Op de schone HOMER+-dataset behaalde GLOBE een gemiddelde F1-score van 0,73, wat nauw aansluit bij SLaTe-PRO (0,74) en de standalone n-grammodellen (0,72) en de zero-shot LLM (0,29) overtreft. GLOBE behaalde specifiek de hoogste activiteitsvoorspellings-F1-score (0,80).
• Computationele Efficiëntie: GLOBE demonstreerde superieure trainingsefficiëntie, waarbij slechts 8,33 seconden nodig waren vergeleken met 11.415 seconden voor SLaTe-PRO. Hoewel de inferentielatentie hoger was (192,49s vs. 93s voor SLaTe-PRO) vanwege selectieve API-aanroepen, worden deze kosten alleen in scenario's met een lage betrouwbaarheid gemaakt.
• Robuustheid tegen Ruis: Onder gestructureerde ruisomstandigheden (HOMER-Noise) presteerde GLOBE consistent beter dan SLaTe-PRO in de gemiddelde F1-score voor Persoon-, Huisdier- en Peuter-ruistypen. Opvallend genoeg behield GLOBE een stabiele activiteitsvoorspellingsprestatie (0,80) over alle ruisniveaus, terwijl de prestaties van SLaTe-PRO aanzienlijk verslechterden.
• Ablatie-studies: De resultaten gaven aan dat het framework robuust is bij variërende ruisniveaus in de training (0,25 tot 0,75) en dat een betrouwbaarheidsdrempel van 0,5 de beste balans biedt tussen sequentiële modellering en LLM-interventie.

Betekenis en Claims
Het artikel claimt dat GLOBE een kritieke kloof in proactieve robotassistentie overbrugt door een oplossing te bieden die zowel computationeel efficiënt als robuust tegen omgevingsvariabiliteit is. Door gebruik te maken van de sterke punten van lichtgewicht statistische modellen voor routinegedrag en het reserveren van LLM-redenering voor onzekere situaties, bereikt het framework een balans tussen snelheid en aanpassingsvermogen. De introductie van HOMER-Noise biedt een realistischer benchmark voor het evalueren van systemen die bedoeld zijn voor inzet in de echte wereld, waar de status van objecten regelmatig wordt gewijzigd door factoren die niets met de primaire gebruikersactiviteit te maken hebben. De auteurs valideren het potentieel van het systeem via een proof-of-concept integratie met een Stretch 3 mobiele manipulator, wat de toepasbaarheid ervan in mens-robotinteractiescenario's aantoont.