HomeGuard: VLM-based Embodied Safeguard for Identifying Contextual Risk in Household Task

Probleemstelling

Vision-Language Models (VLMs) worden steeds vaker ingezet als centrale besluitvormers voor embodied agents (zoals robots) om complexe instructies in huishoudelijke omgevingen uit te voeren. Hoewel deze modellen krachtig zijn, vertonen ze een kritieke kwetsbaarheid: contextuele veiligheidsrisico's.

• Expliciete vs. Impliciete Risico's: Waar expliciete kwaadaardige instructies (bijv. "breek het raam") relatief eenvoudig te detecteren zijn, zijn impliciete risico's veel lastiger. Deze treden op wanneer een ogenschijnlijk onschadelijke instructie (bijv. "verwarm het voedsel in de magnetron") gevaarlijk wordt door subtiele omgevingsfactoren (bijv. het voedsel zit in een metalen bak).
• Bestaande Beperkingen:
  • Regelgebaseerde systemen: Schalen niet goed in objectdichte scènes en vereisen handmatige, onhaalbare predicaatlogica voor elke mogelijke interactie.
  • Modelgebaseerde systemen (VLMs): Lijden vaak aan "ongeoriënteerde perceptie". Ze missen subtiele risicocues in rommelige omgevingen of hallucineren gevaren op basis van de aanwezigheid van objecten zonder hun context te begrijpen (bijv. elke magnetron als gevaarlijk bestempelen).

Methodologie: HomeGuard

HomeGuard is een architectonisch onafhankelijke, plug-and-play veiligheidsbewaker die is ontworpen om deze perceptieproblemen op te lossen. De kern van de methode bestaat uit drie pijlers:

1. Context-Guided Chain-of-Thought (CG-CoT)

In plaats van een holistische redenering toe te staan, forceert CG-CoT een gestructureerd proces dat visuele grounding verplicht stelt voordat een semantisch oordeel wordt geveld. Het proces verloopt in vier stappen:

1. Intentie Screening: Detectie van inherent kwaadaardige motieven in de instructie.
2. Inspectie van Interactie-Doelen: Het model identificeert en lokaliseert de doelobjecten (interaction targets) met bijbehorende bounding boxes en staat (bijv. materiaal, temperatuur).
3. Analyse van Omgevingsbeperkingen: Het model zoekt naar impliciete risico's in de ruimtelijke relaties of functionele afhankelijkheden (bijv. een beschadigde kabel of brandbare materialen in de buurt). Ook hier worden bounding boxes gegenereerd voor deze "constraint areas".
4. Geïntegreerde Risico-evaluatie: Op basis van de visuele bewijzen uit de vorige stappen wordt het definitieve veiligheidsurteil geveld.

2. Het HomeSafe Dataset

Om dit trainen mogelijk te maken, hebben de auteurs HomeSafe ontwikkeld, het eerste dataset specifiek voor het verbinden van abstracte veiligheidskennis met fysieke visuele grounding.

• Omvang: Bestaat uit 10.257 onveilige scenario's en 5.710 veilige scenario's.
• Generatie: Gebruikt een "counterfactual editing" pipeline. Realistische huishoudelijke afbeeldingen (van CA-1M en SUNRGBD) worden bewerkt om gevaarlijke situaties te creëren (bijv. een metalen kom in een magnetron) en daarvoor een veilige tegenhanger (een keramische kom), terwijl de instructie gelijk blijft.
• Annotatie: Bevat fijnmazige bounding box annotaties die doelobjecten en beperkende objecten onderscheiden, samen met stap-voor-stap redeneertraces.

3. Twee-staps Trainingsstrategie

• Supervised Fine-Tuning (SFT): Introduceert de structuur van CG-CoT en de basisveiligheidsprincipes in het model (gebaseerd op Qwen3-VL).
• Reinforcement Fine-Tuning (RFT): Gebruikt Group Relative Policy Optimization (GRPO) met procesbeloningen (process rewards).
  • Outcome Rewards: Beoordelen de uiteindelijke juistheid van het veiligheidsurteil en de semantische consistentie.
  • Process Rewards: Belonen specifiek de nauwkeurigheid van de tussenliggende stappen, met name de Intersection over Union (IoU) van de gegenereerde bounding boxes ten opzichte van de ground truth. Dit dwingt het model om visueel te "kijken" voordat het concludeert.

Belangrijkste Resultaten

Experimenten op HomeSafe-Bench en vier publieke benchmarks (zoals EARBench en SafeAgentBench) tonen aan dat HomeGuard state-of-the-art prestaties levert:

• Verbeterde Risicodetectie: HomeGuard-8B bereikt een Risicodetectiepercentage (RIR) van 90,98%, wat een verbetering is van meer dan 30% ten opzichte van de basismodellen en zelfs beter presteert dan toonaangevende propriëtaire modellen zoals GPT-4o-mini en Gemini-3-Pro.
• Vermindering van "Oversafety": Een groot probleem bij bestaande modellen is dat ze te voorzichtig zijn (veilige taken afwijzen). HomeGuard verlaagt de Oversafety Rate (OR) aanzienlijk (tot 13,14% voor de 8B-versie), wat betekent dat het veel minder vaak onterecht "nee" zegt.
• Visuele Grounding: Het model lokaliseert risico's met hoge precisie (T-IoU en C-IoU scores), wat aantoont dat het inderdaad de juiste objecten in de scène identificeert in plaats van te raden.
• Efficiëntie: Door de gefocuste actieve perceptie is HomeGuard efficiënter dan lange "thinking"-modellen die vaak vastlopen in redundante redeneringscycli.

Significantie en Toepassingen

De bijdrage van HomeGuard gaat verder dan alleen het detecteren van gevaren:

1. Actieerbare Ruimtelijke Constraints: De gegenereerde bounding boxes dienen niet alleen als visuele bewijzen, maar kunnen direct worden gebruikt als ruimtelijke waypoints voor downstream planners.
2. Veilige Trajectgeneratie: In demonstraties (zoals het verplaatsen van een obstructie voordat een apparaat wordt ingeschakeld) toont HomeGuard aan dat het abstracte veiligheidsregels kan vertalen naar concrete bewegingsplannen voor robots, waardoor botsingen en ongevallen worden voorkomen.
3. Generalisatie: Het model generaliseert goed naar onbekende scenario's en domeinen (zoals simulatoren), wat wijst op een robuust begrip van veiligheidsprincipes in plaats van het memoriseren van specifieke scènes.

Conclusie: HomeGuard biedt een fundamentele oplossing voor de veiligheidsuitdagingen van embodied AI door de kloof tussen semantisch veiligheidsbegrip en fysieke visuele waarneming te dichten. Het stelt robots in staat om niet alleen slim te zijn, maar ook intrinsiek veilig te opereren in complexe, menselijke omgevingen.