💻 computer science

Vision-Based Safe Human-Robot Collaboration with Uncertainty Guarantees

Dit artikel stelt een op visie gebaseerd raamwerk voor mens-robotcollaboratie voor dat certificeerbare veiligheid garandeert door integratie van aleatorische onzekerheidsschatting en detectie van buiten-de-verdeling-gevallen om conformale voorspellingssets voor menselijke beweging te genereren met gegarandeerde probabilistische betrouwbaarheid.

Oorspronkelijke auteurs: Jakob Thumm, Marian Frei, Tianle Ni, Matthias Althoff, Marco Pavone

Gepubliceerd 2026-05-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jakob Thumm, Marian Frei, Tianle Ni, Matthias Althoff, Marco Pavone

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een robot voor die naast een mens werkt, als danspartner. Om de dans veilig te houden, moet de robot precies weten waar het menselijk lichaam zich bevindt en, nog belangrijker, waar het zich de komende paar seconden zal bevinden. Als de robot een verkeerde gok doet, kan hij tegen de persoon aanbotsen.

Dit artikel presenteert een nieuw "veiligheidsbrein" voor robots dat camera's gebruikt om mensen te observeren en hun bewegingen met een zeer hoog niveau van zekerheid te voorspellen. Hieronder wordt uitgelegd hoe dit werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: Gokken is Risicovol

Huidige robots vertrouwen vaak op dure, bedrade pakken met markers om menselijke bewegingen te volgen. Als ze proberen gewone camera's te gebruiken (zoals op een telefoon), moeten ze vaak gokken.

De Oude Manier: "De mens kan 1,6 meter per seconde in elke richting bewegen." Dit is alsof een robot ervan uitgaat dat een mens plotseling kan teleporteren of met supersnelheid in elke richting kan rennen, alleen maar om veilig te zijn. Het is zo voorzichtig dat de robot bijna de hele tijd stopt met werken.
De Nieuwe Manier: De auteurs willen dat de robot zegt: "Ik ben 99% zeker dat de mens hier zal zijn, en ik heb een wiskundige garantie dat ik niet fout zit."

2. De Oplossing: Een Veiligheidsproces in Drie Stappen

De auteurs hebben een systeem gebouwd dat werkt als een zeer bekwame, voorzichtige detective.

Stap A: Zien met "Vage" Ogen (Onzekerheidsbewuste Visie)
In plaats van alleen te zeggen: "De hand van de mens bevindt zich op punt X", zegt het systeem: "De hand bevindt zich op punt X, maar ik ben een beetje wazig, dus het kan eigenlijk overal binnen deze kleine bubbel rondom X zijn."

Analogie: Stel je voor dat je door een licht beslagen raam naar een vriend kijkt. Je weet ongeveer waar ze zijn, maar je erkent de mist. De robot berekent de grootte van die "mistbubbel" (onzekerheid) voor elk lichaamsdeel.

Stap B: De Toekomst Voorspellen met een "Veiligheidsnet" (Conforme Voorspelling)
De robot kijkt naar de geschiedenis van waar de mens is geweest en voorspelt waar deze als volgende naartoe zal gaan. Maar in plaats van één lijn te tekenen voor het toekomstige pad, tekent het een veiligheidsbubbel rondom dat pad.

De Magische Truc: Ze gebruiken een statistische methode genaamd "Conforme Voorspelling". Denk hierbij aan een "vertrouwensgarantie". Het systeem kalibreert zichzelf zodat het kan beloven: "Ik garandeer dat 99% van de tijd de daadwerkelijke hand van de mens binnen deze bubbel zal zijn."
Het Resultaat: Deze bubbels zijn veel kleiner en strakker dan de enorme, conservatieve "overal kunnen rennen"-bubbels die door oudere robots werden gebruikt. Dit betekent dat de robot dichter kan komen en sneller kan werken zonder gevaarlijk te zijn. In hun tests waren deze nieuwe veiligheidsbubbels 11 keer kleiner dan de oude standaard, waardoor de robot veel efficiënter werd.

Stap C: Omgaan met het "Vreemde Gooi" (OOD-detectie)
Wat gebeurt er als de camera iets ziet dat het nog nooit heeft gezien? Misschien verandert de verlichting, of loopt een persoon in een vreemd kostuum binnen.

Het Oude Probleem: Als het zicht van een robot in de war raakt, kan het bevriezen of crashen omdat het niet weet wat het moet doen.
De Nieuwe Oplossing: Het systeem heeft een "leugendetector" (detectie van buiten-verdeling). Als de camera iets vreemds ziet, zegt het systeem: "Ik vertrouw dit beeld niet." In plaats van in paniek te raken, hergebruikt het soepel zijn laatst bekende goede voorspelling om de robot veilig in beweging te houden totdat het zicht weer helder is.
Het Resultaat: In tests in de echte wereld verminderde deze truc het aantal keren dat de robot moest stoppen of falen met 36%.

3. Tests in de Echte Wereld

Het team testte dit op een echte Franka-robotarm die samenwerkte met een mens.

Ze gebruikten een standaardcamera (Intel RealSense).
De robot stopte succesvol voordat de mens hem kon bereiken, wat bewees dat het veilig was.
Het systeem verwerkte "slechte" camera-invoer op een elegante manier zonder de hele operatie te laten crashen.

Samenvatting

Dit artikel introduceert een manier voor robots om mensen te "zien" en hun bewegingen te voorspellen met een wiskundige garantie van veiligheid.

Het geeft toe wanneer het onzeker is (het berekent "mistbubbels").
Het creëert strakke, gegarandeerde veiligheidszones (conforme verzamelingen) die veel kleiner zijn dan oude methoden.
Het blijft soepel werken, zelfs als de camera in de war raakt (het verwerkt "vreemde" invoer).

Het resultaat is een robot die veiliger is, minder vaak onnodig stopt en klaar is om samen te werken met mensen in fabrieken of huizen.

Technische Samenvatting: Visiegebaseerde Veilige Mens-Robot Collaboratie met Onzekerheidsgaranties

Probleemstelling

Naarmate autonome robots steeds vaker opereren in mensgerichte omgevingen (industrie, gezondheidszorg, huishoudens), vereist het waarborgen van veiligheid een nauwkeurige perceptie van menselijke houdingen, betrouwbare bewegingsvoorspelling en aantoonbare veiligheidsgaranties tegen botsingen. Bestaande veilige benaderingen voor Mens-Robot Collaboratie (HRC) staan voor drie kritieke beperkingen:

Afhankelijkheid van marker-gebaseerde systemen: Aantoonbaar veilige methoden vertrouwen vaak op tracking met markers, wat de flexibiliteit bij implementatie beperkt.
Onvoldoende omgang met onzekerheid: Visiegebaseerde methoden die gebruikmaken van RGB-D-camera's gaan vaak uit van vaste maximale schattingsfouten of leveren onzekerheidsschattingen zonder formele garanties. Bovendien falen ze vaak catastrofaal bij Out-of-Distribution (OOD) invoer, een risico dat niet wordt vastgelegd door standaard aleatorische onzekerheid.
Conservatieve bewegingsmodellen: Traditionele veiligheidskaders maken gebruik van eenvoudige, niet-data-gedreven bewegingsmodellen (bijvoorbeeld het aannemen van een maximumsnelheid van 1,6 m/s in elke richting volgens ISO 13855:2010) om bereikbare sets te definiëren. Deze modellen zijn uiterst conservatief, wat leidt tot inefficiënte robotoperatie. Omgekeerd missen state-of-the-art bewegingsvoorspellers heteroscedastische onzekerheidsschattingen, end-to-end onzekerheidspropagatie en conformale voorspellingsgaranties.

Methodologie

De auteurs stellen een unificerend kader voor visiegebaseerde menselijke houdingsschatting en bewegingsvoorspelling voor dat onzekerheidsschatting integreert met conformale voorspelling om certificeerbare veiligheidsgaranties te bieden. De pijplijn bestaat uit vier hoofdfasen:

1. Onzekerheidsbewuste 3D Houdingsschatting

2D Schatting: Het systeem past YOLO26 aan om niet alleen de 2D gemiddelde gewrichtsposities uit te voeren, maar ook de covariantiematrix voor elk gewricht in twee gekalibreerde cameraframes. Deze covariantie is afgeleid van de schaal van de Gaussische verdeling in het flow-based regressiemodel.
Triangulatie: 3D gewrichtsposities worden berekend via standaard lineaire triangulatie.
3D Covariantiepropagatie: Cross-covarianties worden geschat op basis van residucorrelaties over een kalibratieset. De uiteindelijke 3D-covarianties worden verkregen via propagatie van de eerste orde, aangevuld met een kleine isotrope term om systematische reconstructiefouten (bijvoorbeeld kalibratieonvolkomenheden) te compenseren.

2. Onzekerheidsbewuste 3D Bewegingsvoorspelling

Architectuur: Het model breidt de Discrete Cosine Transform (DCT) Transformer-architectuur uit. Het verwerkt houdings- en covariantie-invoer langs de temporele as.
Frequentiescheiding: Laagfrequente componenten (gladde globale trends) en hoogfrequente componenten (snelle, fijnmazige variaties) worden verwerkt via specifieke Multi-Layer Perceptron (MLP)-paden na het attentiemodule voordat ze worden herenigd via inverse DCT.
Integratie van onzekerheid: Onzekerheidsinvoer wordt geschaald met een leerbare factor en toegevoegd aan houdingsfeatures.
Covariantievoorspelling: Om stabiliteit en geldigheid te waarborgen, voorspelt het model covariantiematrices met behulp van Cholesky-factorisatie.
Trainingsstrategie: Er wordt een stabiele meerfasige optimalisatie toegepast: (i) training van een deterministische basisvoorspeller, (ii) ontkoppelde learning van het onzekerheidshead met een bevroren backbone, en (iii) end-to-end fine-tuning met een geleidelijk verminderde wegingsfactor ( $\lambda$ ) om nauwkeurigheid en kalibratie in evenwicht te brengen. De verliesfunctie combineert multivariate Gaussische Negative Log-Likelihood (NLL) en een $L_1$ houdingsverlies.

3. Conformale Voorspellingssets

Om onzekerheidsschattingen om te zetten in certificeerbare veiligheidsgrenzen, construeert het kader conformale voorspellingssets:

Niet-conformiteitsmaat: Een score wordt gedefinieerd op basis van de Euklidische afstand tussen de voorspelde en grondwaarheid-posities, genormaliseerd door de vierkantswortel van de maximale eigenwaarde van de voorspelde covariantie.
Setconstructie: Met behulp van een kalibratieset wordt een drempelwaarde bepaald zodat de ware gewrichtspositie met waarschijnlijkheid $1-\epsilon$ binnen de voorspelde bol valt.
Temporele extensie: Om continue tijd te dekken, wordt de straal van de voorspellingsbol uitgebreid met $\Delta t \cdot v_{max}$ (waarbij $v_{max} = 1,6$ m/s) voor tijdstappen tussen discrete voorspellingen.
Bereikbare bezettingen: Het SARA-tool wordt gebruikt om deze gewrichtsniveau-bollen uit te breiden tot volledige lichaamsbereikbare bezettingen voor veiligheidsbescherming.

4. OOD-detectie en -behandeling

Om het falen van modellen op onbekende data aan te pakken:

Detectie: De Sketching Lanczos Uncertainty (SLU)-methode wordt toegepast op zowel het 2D-houdingsschatting- als het bewegingsvoorspellingsnetwerk om OOD-invoer te detecteren. Verminderde modellen (die alleen hoofd- en handposities voorspellen) worden gebruikt voor efficiëntie.
Graceful Degradation: Als een invoer als OOD wordt gemarkeerd, stopt de pijplijn niet. In plaats daarvan hergebruikt het de vorige geldige bewegingsvoorspelling om de houdingsbuffer op te vullen. Het systeem hervat pas het accepteren van nieuwe op beelden gebaseerde voorspellingen na een reeks van $N_{req}$ opeenvolgende geldige waarnemingen, waardoor feedbacklussen van ongeldige data worden voorkomen.

Belangrijkste Bijdragen

Het artikel presenteert een kader voor veilige HRC met de volgende kenmerken:

End-to-End Onzekerheidspropagatie: Een pijplijn die 3D-menselijke beweging schat met heteroscedastische aleatorische onzekerheid die wordt gepropageerd van 2D-schatting via triangulatie naar bewegingsvoorspelling.
Conformale Voorspellingssets: De generatie van voorspellingssets voor menselijke houdingen die geldige, hoge-vertrouwensgaranties ( $1-\epsilon$ ) bieden, direct integreerbaar met veiligheidskappen zoals SARA.
Continue OOD-behandeling: Een methode om Out-of-Distribution-invoer in een continue voorspellingscontext te behandelen door het hergebruiken van eerdere geldige voorspellingen, waardoor continuïteit van de pijplijn wordt gewaarborgd zonder catastrofale uitval.

Experimentele Resultaten

Het kader werd geëvalueerd op het Human3.6M-dataset en in een real-world HRC-omgeving met een Franka Emika-robot.

Voorspellingsnauwkeurigheid: Op de Human3.6M-benchmark presteerde de prestatie van fase 1 (deterministisch) van het model beter dan state-of-the-art baselines (HisRep, ST-DGCN, enz.). Het definitieve model (met onzekerheidsvoorspelling) toonde echter een lichte toename in de Mean Per Joint Position Error (MPJPE) ten opzichte van fase 1, een afweging voor het bieden van onzekerheidsschattingen.
Efficiëntie van conformale sets: In vergelijking met het standaard ISO 13855:2010-model met constante snelheid, bereikten de voorgestelde conformale voorspellingssets een hogere dekking (98,25% versus 97,93%) terwijl het volume van de voorspelde bereikbare set met een factor 11 werd gereduceerd.
Effectiviteit van OOD-behandeling: Bij de evaluatie van de volledige pijplijn verlaagde het voorgestelde OOD-behandelingsmechanisme het aantal ongeldige houdingsbuffers met 36,0% (waardoor geldige bewegingsvoorspellingen toenamen) met slechts een marginale toename in MPJPE (2,6%).
Real-world implementatie: Geïntegreerd met de SARA-kap, opereerde het systeem succesvol op een Franka Emika-robot. In de modus voor snelheids- en scheidingsbewaking stopte de robot consequent voordat de menselijke operator deze kon bereiken, wat de praktische haalbaarheid van de certificeerbare veiligheidsgaranties aantoont.

Betekenis en Claims

De auteurs beweren dat hun werk de kloof overbrugt tussen hoog-nauwkeurige data-gedreven bewegingsvoorspelling en rigoureuze veiligheidseisen. Door conformale voorspelling te combineren met OOD-detectie, stelt het kader robots in staat om te opereren met certificeerbare veiligheidsgaranties in ongezette situaties, zonder te vertrouwen op de buitensporig conservatieve aannames van traditionele bewegingsmodellen. De reductie in voorspellingsvolume met een factor 11 suggereert dat deze aanpak de robot-efficiëntie en vlotheid in collaboratieve taken aanzienlijk kan verbeteren terwijl de veiligheid behouden blijft. De graceful degradation-strategie waarborgt robuustheid in real-world implementaties waar sensordata af en toe buiten de trainingsverdeling kan vallen.