DIJIT: A Robotic Head for an Active Observer

Technische Samenvatting: DIJIT: Een Robotisch Hoofd voor een Actieve Waarnemer

Probleemstelling
Robotische visiesystemen verschillen doorgaans aanzienlijk van menselijke visuele systemen wat betreft vrijheidsgraden (DOF) en taakveelzijdigheid. Terwijl het menselijk zicht gebruikmaakt van actieve controle met een hoge DOF (drie rotationele DOF per oog plus een regelbare nek) om diverse visuele taken op te lossen, maken de meeste robotische systemen gebruik van minder DOF, waarbij ze vaak vertrouwen op vaste stereoparen of eenvoudige pan-tilt-mechanismen. Bestaande biomimetische robotische hoofden missen vaak de noodzakelijke kinematische structuur (specifiek onafhankelijke pan, tilt en roll voor elke camera), hebben inter-camera basislijnen die te groot zijn voor menselijke prestaties, of vertrouwen op zware metalen frames die de mobiliteit belemmeren. Bovendien specificeren veel bestaande ontwerpen hun prestatieparameters niet, met name met betrekking tot saccadische oogbewegingen, die cruciaal zijn voor biologische actieve visie. Er is behoefte aan een robotisch platform dat de fysieke eigenschappen van het menselijke visuele systeem nabootst om de verschillen tussen biologische en computergestuurde visiemethoden te onderzoeken.

Methodologie en Systeemontwerp
De auteurs presenteren DIJIT, een nieuw binocaal robotisch hoofd dat is ontworpen om menselijke oog- en hoofdbewegingen na te bootsen.

• Mechanisch Ontwerp: DIJIT beschikt over negen mechanische vrijheidsgraden: drie voor de nek (pan, zijwaartse buiging, flexie/extensie) en drie voor elke camera (pan, tilt en roll). Het ontwerp bereikt een mensachtige inter-camera basislijn van 115 mm. Het hoofd is geconstrueerd met behulp van lichtgewicht PA6-CF 3D-geprinte onderdelen, weegt ongeveer 1,4 kg, met afmetingen van 22cm × 22cm × 26cm (inclusief de nek).
• Hardware: Het systeem maakt gebruik van hoogwaardige iDS U3-3881LE-AF global shutter camera's met vloeibare lenzen, die vier optische DOF per camera bieden (focus, belichting, witbalans, gain). Beweging wordt aangedreven door MG90S servo's voor de camera's en grotere DC-servo's voor de nek, die allemaal worden aangestuurd door een Teensy 4.0 microcontroller. Twee IMU's (BNO085) die star aan de cameraframes zijn bevestigd, bieden rotatietoestandfeedback op 60 Hz.
• Saccade Controlestrategie: Om de moeilijkheid van het modelleren van complexe kinematische offsets tussen motorassen en optische centra aan te pakken, stellen de auteurs een datagedreven saccade-controlemethode voor. In plaats van expliciete kinematische modellering gebruikt het systeem een kalibratieproces waarbij een ChArUco-target wordt gefotografeerd bij discrete pan- en tilt-motorstappen.
  • Homografie Mapping: Het systeem berekent homografieën tussen kalibratiebeelden om het centrum van elk beeld in de set te mappen naar de pixellocatie van een target in het huidige aanzicht.
  • Interpolatie: Omdat motorstaten discreet worden gesampled, wordt een bilineaire interpolatieproces gebruikt om motorwaarden te schatten voor ongeziene aanzichten op basis van de vier dichtstbijzijnde kalibratiesamples.
  • Executie: Deze aanpak stelt het systeem in staat om motorwaarden direct toe te wijzen aan pixellocaties zonder dat er strikte aannames nodig zijn over de uitlijning van de assen.

Belangrijkste Bijdragen

1. DIJIT Platform: De introductie van een open-source robotisch hoofd dat, naar weten van de auteurs, het eerste is dat een mensachtige basislijn combineert met volledige drie rotationele DOF per camera en drie DOF voor de nek, naast vier optische DOF per camera.
2. Nieuwe Saccade Methode: Een snelle kalibratie- en controlemethode die de cameraoriëntatie naar motorwaarden mapt met behulp van homografie en interpolatie. Deze methode vereist minder dan drie minuten voor kalibratie per camera en vertrouwt niet op de aanname dat motorassen perfect zijn uitgelijnd met de optische assen.
3. Prestatiebenchmarking: Een uitgebreide evaluatie van de saccadische prestaties van DIJIT tegen zowel menselijke data als andere robotische systemen in de literatuur.

Experimentele Resultaten
De auteurs evalueerden de saccadische prestaties van DIJIT via 175 proeven met binoculaire saccades naar ArUco-markers met variërende eccentriciteiten.

• Nauwkeurigheid: De gemiddelde saccade-fout was 1,17° voor de linker camera en 1,14° voor de rechter camera. Na een corrigerende saccade (getriggerd wanneer de primaire fout 1° overschreed), verminderde de fout naar respectievelijk 0,93° en 0,95°. Deze waarden zijn vergelijkbaar met gerapporteerde menselijke saccade-fouten (die variëren van 0,6° tot 2,89° afhankelijk van de omstandigheden).
• Snelheid: DIJIT bereikt saccadesnelheden tot 600°/s, wat ongeveer 85% van de piek menselijke saccadesnelheid (tot 700°/s) bedraagt.
• Herhaalbaarheid: In een herhaalbaarheidstest van 100 proeven was de standaarddeviatie van de landingspuntfouten laag (bijv. 0,36° horizontaal voor de linker camera), wat duidt op een hoge consistentie.
• Vergelijking: DIJIT presteert beter dan of is gelijk aan andere robotische hoofden wat betreft snelheid en nauwkeurigheid, ondanks het gebruik van lagere-resolutie motor-encoders dan sommige concurrenten. De auteurs merken op dat hoewel sommige concurrerende methoden fouten in pixels rapporteren, het omzetten hiervan naar hoekfouten de prestaties van DIJIT gunstig plaatst ten opzichte van systemen zoals COG, OREO en iCub.

Betekenis en Claims
Het artikel claimt dat DIJIT een uniek platform biedt voor onderzoek naar actieve visie, wat het mogelijk maakt om de interactie tussen menselijke oog- en hoofdbewegingen en de vergelijking tussen biologische en computationele visiestrategieën te bestudelen. De auteurs benadrukken dat het systeem betaalbaar, open-source en repliceerbaar is, waardoor het toegankelijk is voor cognitieve wetenschap en neurowetenschappelijk onderzoek. De betekenis van het werk ligt in het vermogen om de kloof tussen biologische visie-eigenschappen en robotische implementatie te overbruggen, door een systeem aan te bieden dat de menselijke prestatieparameters in bereik, snelheid en nauwkeurigheid evenaart zonder de noodzaak van complexe, foutgevoelige kinematische modellering. De auteurs stellen dat het apparaat momenteel wordt gebruikt om de verschillen tussen menselijke visie en huidige computer vision-methoden te onderzoeken en dat de planning is om het in te zetten in autonome systemen om rolstoelgebonden individuen te ondersteunen.