Depth-guided Multi-view Exposure Bracketing for HDR Robot Vision

Robots en smartphones worden steeds vaker uitgerust met camera's die de wereld in drie dimensies zien, waarbij ze dieptesensoren gebruiken om te begrijpen hoe ver objecten verwijderd zijn. Deze machines moeten ook duidelijk kunnen zien in lichtomstandigheden die een menselijk oog zouden verblinden, zoals de schittering van een autokoplamp tegen een donkere tunnel of de felle zon die weerkaatst op een nat wegdek. Om dergelijke scènes vast te leggen, vertrouwen camera's meestal op een techniek die exposure bracketing wordt genoemd, waarbij ze verschillende foto's in snelle opeenvolging maken, elk met een andere helderheidinstelling, en deze vervolgens samenvoegen tot één kwalitatief hoogwaardige afbeelding. Echter, deze methode heeft een kritiek gebrek: als de scène beweegt, zorgt de tijd die nodig is om die meerdere foto's te maken ervoor dat de uiteindelijke afbeelding wazig wordt of scheurt, net als een foto van een rennend kind die is genomen met een trage sluitertijd. Hoewel sommige geavanceerde camera's alle noodzakelijke helderheidsniveaus in één enkel moment kunnen vastleggen, zijn zij duur en zeldzaam. De vraag blijft: hoe kunnen gewone machines, uitgerust met standaardcamera's en dieptesensoren, het volledige bereik aan licht in één enkel, scherp moment zien zonder te wachten tot de wereld stilstaat?

Een team onderzoekers van POSTECH in Zuid-Korea heeft een nieuwe aanpak ontwikkeld die deze vraag beantwoordt door te veranderen waar de verschillende helderheidsniveaus vandaan komen. In plaats van één camera te vragen om meerdere foto's over een bepaalde tijd te maken, vroegen ze een groep camera's om elk één foto te maken, allemaal op exact hetzelfde moment, maar met elke camera ingesteld op een drastisch ander helderheidsniveau. Om dit werkend te krijgen, bouwden ze een op maat gemaakt robotplatform dat zes standaardcamera's en een dieptesensor draagt, en ze testten het idee ook op een iPhone 13 Pro, die drie camera's en een dieptesensor aan de achterkant heeft. De onderzoekers creëerden een enorme nieuwe collectie gegevens, inclusend meer dan honderd echte scènes vastgelegd door hun robot, een kleinere set afbeeldingen van de iPhone, en twintig gesimuleerde videosequenties gegenereerd door een computerprogramma. Deze dataset maakt het mogelijk om te testen hoe goed een machine een perfecte afbeelding kan reconstrueren wanneer de inputs niet alleen verschillen in tijd, maar ook in belichting en perspectief.

De kern van hun oplossing is een methode die ze depth-guided multi-view exposure bracketing noemen. In eenvoudige bewoordingen neemt het systeem de afbeeldingen van alle camera's en gebruikt de diepte-informatie — de kaart van hoe ver elk punt in de scène verwijderd is — om ze perfect uit te lijnen. Omdat de camera's naar de scène kijken vanuit licht verschillende hoeken, gebruikt het systeem de dieptekaart om de afbeeldingen te vervormen (warpen) zodat ze uitlijnen alsof ze allemaal vanuit dezelfde plek zijn genomen. Deze geometrische sturing is cruciaal omdat het het systeem in staat stelt om de uitlijning te vertrouwen, zelfs wanneer de verschillen in helderheid tussen de camera's extreem zijn. Zonder deze dieptekaart zou het systeem moeten gissen hoe de afbeeldingen uitlijnen op basis van visuele patronen, een taak die rampzalig mislukt wanneer de ene camera een fel licht ziet en de andere een donkere schaduw. Door te vertrouwen op de dieptesensor, kan het systeem de donkerste, middentonen en de helderste pixels van de verschillende camera's fuseren tot één enkele afbeelding met een hoog dynamisch bereik (high-dynamic-range) op een instant.

De resultaten van deze aanpak zijn significant. Bij tests op hun nieuwe dataset produceerde de methode duidelijkere afbeeldingen met minder fouten dan bestaande technieken die proberen bewegende beelden uit te lijnen op basis van visuele patronen alleen. In scènes met extreem licht, zoals een felle lichtbron tegen een donkere achtergrond, slaagde de nieuwe methode erin details te onthullen die andere benaderingen misten of vervormden. De onderzoekers ontdekten dat het toevoegen van meer camera's aan het systeem de kwaliteit verder verbeterde, waardoor de machine een nog breder bereik aan licht kon vastleggen. Zo kon een opstelling met drie camera's de meeste situaties aan, terwijl het uitbreiden van het systeem naar acht camera's het mogelijk maakte om fijne details in de helderste delen van de afbeelding op te lossen die anders uitgebleekt zouden zijn. Deze verbetering bleef standhouden, of de beelden nu afkomstig waren van hun aangepaste robotinstallatie, de iPhone of de gesimuleerde omgeving.

Naast het louter maken van mooiere plaatjes, demonstreerden de onderzoekers dat deze helderdere visie robots helpt beter te zien in praktische taken. Ze testten het systeem door het te vragen auto's te identificeren in een scène met verblindende koplampen. De standaardmethoden, die moeite hebben om de beelden correct uit te lijnen onder dergelijk hard licht, falen vaak in het herkennen van de vorm van de voertuigen, waarbij ze de schittering voor een deel van de auto aanzien of de auto geheel missen. In contrast hiermee behield de nieuwe methode de structurele details van de auto's, waardoor het detectiesysteem hen nauwkeurig kon identificeren. Dit suggereert dat het geven van het vermogen aan robots om het volledige bereik aan licht in één enkele snapshot te zien, hen veiliger en betrouwbaarder kan maken in real-world omgevingen waar de verlichting snel en onvoorspelbaar verandert. Het werk toonde ook aan dat deze technologie niet beperkt is tot dure, op maat gemaakte robots; het kan effectief functioneren op consumentenapparaten zoals smartphones, mits deze over meerdere camera's en een dieptesensor beschikken.

De onderzoekers erkennen dat hun huidige systeem vereist dat de camera's en dieptesensoren een gemeenschappelijk gezichtspunt op de wereld delen om te kunnen functioneren, een beperking die bepaalt waar de sensoren geplaatst kunnen worden. Vooruitblikkend suggereren ze dat de volgende stap zou zijn om verder te gaan dan het creëren van platte, tweedimensionale afbeeldingen en in plaats daarvan een volledige driedimensionale representatie van de scène te bouwen die details met een hoog dynamisch bereik in de ruimte vastlegt. Voor nu bewijst de studie echter dat door standaardcamera's te combineren met dieptesensoren en een nieuwe manier om hun gegevens te fuseren, machines een niveau van visie kunnen bereiken dat voorheen was voorbehouden aan gespecialiseerde, kostbare apparatuur. Dit opent de deur naar robuustere en meer capabele robotische systemen die betrouwbaar kunnen opereren in de complexe en vaak harde lichtomstandigheden van de echte wereld.