When Should a Failing Robot Ask? Initiating Corrective Human-Robot Dialogue from Audited Sensor Evidence
Dit artikel toont aan dat open visie-taalmodellen er niet in slagen optimale beslissingen te nemen over wanneer zij menselijke hulp moeten vragen vanwege hun afhankelijkheid van prompt-formattering in plaats van werkelijke sensorgegevens, maar dat hun diagnostische nauwkeurigheid en besluitvorming aanzienlijk kunnen worden verbeteren door het integreren van diverse sensordata en het verankeren van hun acties in gemeten betrouwbaarheid en taalkosten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wanneer een robot die naast een mens werkt een beker laat vallen of een gereedschap niet oppakt, volgt er een kritiek moment voordat er iemand spreekt. De machine moet beslissen wat de volgende stap is: moet het proberen het probleem zelf op te lossen, de eigen interne sensoren controleren op aanwijzingen, of stoppen en de mens om hulp vragen? Deze beslissing gaat niet alleen over beleefdheid; het is een berekening van risico. Om hulp vragen kost tijd en onderbreekt de concentratie van de mens, maar blindelings handelen op basis van een verkeerde gok kan leiden tot meer schade. Jarenlang hebben onderzoekers aangenomen dat als een robot een fout kan zien, hij ook kan begrijpen waarom deze is opgetreden, of dat hij simpelweg om hulp moet vragen wanneer hij onzeker is. Een nieuwe studie daagt deze aannames echter uit en suggereert dat het vermogen van een robot om een probleem te diagnosticeren volledig afhangt van welke sensoren hij gebruikt, en dat huidige kunstmatige intelligentiemodellen verrassend slecht zijn in weten wanneer ze moeten stoppen en om hulp moeten vragen.
Om dit te onderzoeken, bouwden onderzoekers een gecontroleerde omgeving waarin zij specifieke fouten met bekende oorzaken konden creëren. Ze programmeerden een gesimuleerde robotarm om een eenvoudige taak uit te voeren: een object oppakken en ergens plaatsen. Vervolgens introduceerden ze drie verschillende soorten problemen. Ten eerste kon de robot er niet in slagen het object te zien omdat het verborgen was, ontbrak of omdat het licht te zwak was. Ten tweede kon de robot proberen het object op te tillen, maar het laten vallen omdat de grip te zwak was, het object te zwaar was of het oppervlak te glad was. Ten derde kon de robot er niet in slagen het object te plaatsen omdat de doelcontainer vol was of buiten bereik was verschoven. Omdat de onderzoekers deze fouten zelf hadden gecreëerd, wisten ze de exacte oorzaak van elke fout, waardoor ze konden testen of een robot het daadwerkelijk zou kunnen uitzoeken.
De onderzoekers testten eerst welke informatie verschillende sensoren konden bieden. Ze ontdekten een scherpe tweedeling in wat de robot kon leren. Wanneer de fout te maken had met het niet zien van het object, was een camera uitstekend in het diagnosticeren van het probleem en identificeerde deze de oorzaak bijna elke keer correct. Echter, wanneer de fout te maken had met het laten vallen van het object, was de camera bijna nutteloos. Hoe geavanceerd de beeldanalyse ook was, de camera kon het verschil niet zien tussen een zwakke grip, een zwaar object of een glad oppervlak, omdat deze fysieke krachten onzichtbaar zijn voor een lens. In contrast hiermee, wanneer de onderzoekers de robot zijn eigen krachtgegevens gaven — metingen van hoe hard de grijper kneep en hoeveel gewicht hij voelde — kon de robot de val met bijna perfecte nauwkeurigheid diagnosticeren. Dit onthulde een fundamentele waarheid: een robot kan een probleem niet diagnosticeren als de informatie over dat probleem niet aanwezig is in de gegevens waar hij naar kijkt.
De studie richtte zich vervolgens op zes verschillende open-source kunstmatige intelligentiemodellen, de systemen die vaak worden gebruikt om robots het vermogen te geven taal en beelden te begrijpen. De onderzoekers vroegen deze modellen om de camerabeelden van een mislukte poging te bekijken en te raden wat er mis was gegaan. De resultaten waren verbijsterend. De modellen gedroegen zich niet als voorzichtige wetenschappers die weten wanneer ze informatie missen. In plaats daarvan werd hun gedrag bepaald door de lay-out van de vraag die hen werd gesteld. Als de optie om "Ik weet het niet" als laatste in de lijst stond, weigerden de modellen bijna altijd te antwoorden en beweerden ze dat ze de oorzaak niet konden bepalen. Als de onderzoekers diezelfde optie bovenaan de lijst zetten, stopten de modellen plotseling met weigeren en begonnen ze te gokken, vaak met een hoog vertrouwen, zelfs wanneer ze het mis hadden. Hun vertrouwensniveaus weerspiegelden de werkelijkheid niet; een model kon honderd procent zeker zijn van een foutief antwoord, of vijftig procent zeker van een juist antwoord, zonder dat daar een patroon aan verbonden was.
De onderzoekers testten ook of het de modellen zou helpen als de krachtgegevens, uitgeschreven als eenvoudige tekst, aan hen werden verstrekt. Voor vier van de zes modellen maakte deze extra informatie een enorm verschil. Plotseling konden ze de valfouten correct diagnosticeren, waarbij ze van willekeurig gokken overgingen naar het goed beantwoorden van de vraag in meer dan de helft van de gevallen. Dit bewees dat de modellen niet inherent onbekwaam waren in het begrijpen van de fysica van de fout; ze misten simpelweg de juiste sensordata. Zelfs met deze nieuwe capaciteit faalden de modellen echter nog steeds in het maken van de juiste beslissing over wanneer ze om hulp moesten vragen. Ze vroegen niet vaker om hulp wanneer de vraag weinig moeite kostte en het risico van alleen handelen hoog was, noch stopten ze met vragen wanneer de vraag veel moeite kostte. Hun strategie voor het vragen was rigide en negeerde de kosten van het onderbreken van een mens.
De meest effectieve strategie voor een robot is volgens de studie niet om te vertrouwen op het eigen gevoel van vertrouwen van het model, wat vaak misleidend is. In plaats daarvan moet de beslissing om te vragen gebaseerd zijn op twee meetbare feiten: hoe nauwkeurig de diagnose van de robot daadwerkelijk is, en hoe kostbaar het is om een mens om hulp te vragen. Als de sensoren van de robot betrouwbaar kunnen aangeven wat er mis is, moet hij handelen. Als de sensoren het antwoord niet kunnen bieden, of als de diagnose van de robot waarschijnlijk onjuist is, moet hij om hulp vragen. De studie laat zien dat één enkele vraag aan een mens het succespercentage van een robot van bijna nul naar meer dan 80 procent kan tillen, maar alleen als de robot op het juiste moment vraagt. Vandaag de dag is de keuze om te vragen vaak een gok, maar de weg vooruit is duidelijk: robots moeten worden geprogrammeerd om de grenzen van hun eigen zintuigen en de werkelijke kosten van een vraag te kennen, in plaats van te vertrouwen op het vertrouwen van een machine die niet weet wat hij niet weet.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.