They See Me Rolling: High-Speed Event Vision-Based Tactile Roller Sensor for Large Surface Inspection

Deze paper introduceert een innovatieve, op een neuromorfe camera gebaseerde rollende tactiele sensor die door het gebruik van gebeurtenisgebaseerde 3D-reconstructie en Bayesiaanse fusie inspectiesnelheden tot 0,5 m/s mogelijk maakt met een nauwkeurigheid van minder dan 100 micron, waardoor deze elf keer sneller is dan eerdere methoden voor continue tactiele inspectie.

De kern

De "Rollende Oog" die de Wereld Voelt: Een Simpele Uitleg

Stel je voor dat je met je vingers over een muur wrijft om te voelen of er een barstje in zit. Dat is wat deze nieuwe uitvinding doet, maar dan op een heel snelle en slimme manier.

De onderzoekers hebben een rolvormige sensor ontwikkeld die lijkt op een kleine, zachte rubberen roller. Deze roller zit aan een robotarm en kan over grote oppervlakken (zoals de romp van een vliegtuig of een auto) rollen om te controleren of er krassen, deuken of andere gebreken zijn.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. Het Probleem: De "Stress" van de Traditionele Methode

Vroeger moesten robots of mensen een sensor tegen een oppervlak drukken, even stilhouden, en dan weer optillen om naar een nieuw plekje te gaan.

• De analogie: Dit is alsof je een foto maakt van een heel schilderij, maar je moet elke keer een klein stukje van het schilderij vastpakken, een foto maken, loslaten, en dan een stukje opschuiven. Dat duurt eeuwen! Als je het te snel doet, wordt de foto wazig (door beweging).

2. De Oplossing: De "Rollende Oog"

Deze nieuwe sensor is een rol met een zachte, transparante huid.

• Hoe het voelt: Als de rol over een oneffenheid (zoals een kras) rolt, duwt de zachte huid zich in die kras.
• Het oog: Binnenin de rol zit een speciale camera die niet kijkt zoals wij (die steeds nieuwe plaatjes maakt), maar die alleen kijkt naar veranderingen.

3. De Magische Camera: Het "Event Camera"

Normale camera's maken foto's met een vast tempo (bijvoorbeeld 30 beelden per seconde). Als je te snel beweegt, wordt alles wazig.
Deze sensor gebruikt een neuromorfe camera (een "event camera").

• De analogie: Stel je voor dat je in een donkere kamer staat en iemand loopt voorbij. Een normale camera probeert een foto te maken van de hele kamer, maar omdat de persoon beweegt, krijg je een wazige streep.
  De "event camera" is echter als een groepje mensen die alleen roepen als ze iets zien veranderen. Als de persoon voorbijkomt, schreeuwen ze alleen op het moment dat de persoon een hoek passeert of een schaduw verandert. Ze roepen niet als de persoon stil staat.
• Het resultaat: Omdat ze alleen reageren op veranderingen, kunnen ze extreem snel bewegen zonder dat het beeld wazig wordt. Ze zijn als een renner die nooit moe wordt, terwijl een normale camera (de wandelaar) snel uit adem raakt.

4. De "3D-Map" Bouwen

Terwijl de rol over het oppervlak rolt, ziet de camera hoe de zachte huid vervormt. Omdat de camera zo snel veranderingen registreert, kan de computer een 3D-kaart maken van het oppervlak, alsof je het in 3D ziet, terwijl de rol razendsnel rolt.

• De snelheid: Ze kunnen nu 0,5 meter per seconde rollen. Dat is 11 keer sneller dan de beste oude methoden.
• De nauwkeurigheid: Ze kunnen krassen zien die kleiner zijn dan een haarbreedte (minder dan 0,1 millimeter).

5. De "Braille" Test

Om te bewijzen dat ze echt heel fijn kunnen voelen, hebben ze de sensor gebruikt om Braille te lezen (het puntjes-schrift voor blinden).

• Normale sensoren zouden hier te traag voor zijn of de puntjes niet scherp genoeg kunnen "voelen" bij hoge snelheid.
• Deze sensor kon Braille lezen met een snelheid die 2,6 keer sneller is dan eerdere systemen. Het is alsof je een boek in Braille kunt "voelen" terwijl je er met de auto overheen rijdt, in plaats van langzaam met je vingers over te gaan.

Waarom is dit belangrijk?

In de luchtvaart en auto-industrie moeten grote oppervlakken gecontroleerd worden op microscopische fouten.

• Vroeger: Duurde dagen of weken om een vliegtuigvleugel te controleren.
• Nu: Met deze "rollende oog" kan dat in een fractie van de tijd, terwijl de robot razendsnel over het metaal rolt en elke kras, deuk of barst direct ziet.

Samengevat:
Ze hebben een slimme, zachte rol gemaakt met een camera die alleen kijkt naar beweging. Hierdoor kan de robot razendsnel over grote oppervlakken rollen en tegelijkertijd een super-scherpe 3D-kaart maken van elke kras en deuk, zonder dat het beeld wazig wordt. Het is alsof je een vliegtuig kunt "voelen" terwijl je er met volle snelheid overheen rijdt.

Technische samenvatting

Probleemstelling

De inspectie van grote industriële oppervlakken (zoals vliegtuigrompen) vereist precieze, hoog-resolutie 3D-geometrie voor kwaliteitscontrole. Bestaande methoden hebben aanzienlijke beperkingen:

• Traditionele tactiele sensoren (VBTS): Gebaseerd op het GelSight-concept, bieden ze hoge resolutie maar vereisen een langzame "druk-en-hef" (press-and-lift) werkwijze. Dit is te tijdrovend voor grote oppervlakken.
• Bestaande rollende sensoren: Rollende of riem-gebaseerde sensoren bieden continue meting, maar worden beperkt door wrijving, slijtage en vooral door de snelheidslimieten van conventionele frame-gebaseerde camera's. Bij hoge snelheden treedt er bewegingsonscherpte (motion blur) op, wat de nauwkeurigheid van de 3D-reconstructie drastisch verlaagt.
• Optische methoden: Niet-contact methoden (zoals laserscanners) zijn gevoelig voor omgevingslicht, reflectiviteit en transparantie van het oppervlak.

Er is een dringende behoefte aan een sensormethode die hoge resolutie, robuustheid en de mogelijkheid combineert tot snelle, continue inspectie van grote oppervlakken.

Methodologie

De auteurs introduceren een nieuwe neuromorfe tactiele rollensensor die een event-camera (DVXplorer mini) integreert in een rollend elastomeer mechanisme.

1. Mechanisch Ontwerp:

   • De sensor bestaat uit een transparante acryl cilinder met een doorzichtig, reflecterend elastomeer (Sorta-Clear 18) eromheen.
   • Een interne LED-ring verlicht het elastomeer. Wanneer de sensor over een oppervlak rolt, vervormt het elastomeer.
   • Een neuromorfe camera in het midden van de cilinder registreert deze vervorming via de reflectie.

2. Event-Based Multi-View Stereo (EMVS):

   • In plaats van frames te gebruiken, gebruikt de sensor een stroom van asynchrone "events" (veranderingen in lichtintensiteit met microseconde-tijdsoplossing).
   • De 3D-reconstructie gebeurt via een aangepaste versie van Multi-View Stereo. Omdat de sensor rolt, veranderen de viewpoints continu. De algoritme projecteert events terug door een 3D-volumen en telt de "stemmen" (rays) om diepte te schatten.
   • Het zoekvolume is beperkt tot een smalle diepteband (43-47 mm) gebaseerd op de geometrie van de roller, wat de rekentijd en nauwkeurigheid optimaliseert.

3. Bayesian Model Averaging (BMA) Fusie:

   • Om fouten veroorzaakt door de kromming van de roller en inconsistenties in contactdiepte te verminderen, wordt een fusiestrategie ontwikkeld.
   • Binnen een tijdsvenster van 20 ms worden drie dieptekaarten gegenereerd met verschillende referentietijdstippen (start, midden, einde).
   • Deze kaarten worden gefuseerd met Bayesian Model Averaging. Dit middelt ruis en verbetert de dieptecohesie, wat leidt tot een significant lagere foutmarge.

4. Kalibratie:

   • Een kalibratieprocedure met een bol van bekende straal wordt gebruikt om de optimale parameters voor drempelwaarden en fusieweegfactoren te bepalen. De kalibratie toont aan dat het begin van het tijdsvenster ($t_s$) vaak de meeste gewicht verdient voor de meest nauwkeurige reconstructie.

Belangrijkste Bijdragen

1. Eerste Neuromorfe Rollensensor voor 3D: Dit is het eerste werk dat een neuromorfe visuele tactiele sensor (NVBTS) demonstreert voor hoog-resolutie 3D-reconstructie en oppervlakte-inspectie.
2. Ongekende Snelheid: De sensor kan oppervlakken scannen met snelheden tot 0,5 m/s. Dit is 11 keer sneller dan eerdere continue tactiele benaderingen (zoals riem- of rollensensoren met conventionele camera's).
3. Geavanceerde Reconstructie Algoritme: De introductie van een BMA-fusiestrategie voor gekromde tactiele sensoren, wat de MAE (Mean Absolute Error) met 25,2% verlaagt ten opzichte van standaard EMVS en krommingsfouten corrigeert.
4. Hoge Snelheid Braille-reading: Demonstratie van het lezen van Braille met een snelheid van 0,5 m/s, wat 2,6 keer sneller is dan eerdere state-of-the-art methoden, met behoud van volledige nauwkeurigheid.

Resultaten

• Nauwkeurigheid: Bij een scansnelheid van 0,5 m/s wordt een gemiddelde MAE van < 100 µm (specifiek 62,0 µm voor de geoptimaliseerde setup) bereikt.
• Vergelijking met State-of-the-Art:
  • GelBelt: 45 mm/s (11x langzamer).
  • TouchRoller: 11 mm/s (45x langzamer).
  • De voorgestelde sensor behoudt hoge nauwkeurigheid terwijl de snelheid drastisch wordt verhoogd.
• Defectdetectie: De sensor slaagt erin om kleine defecten (krassen, deuken, gebogen klinknagels) en printfouten op grote 3D-geprinte platen te detecteren en te kwantificeren.
• Braille: Het systeem leest Braille-tekst correct bij 0,5 m/s, terwijl eerdere systemen vaak vastliepen bij snelheden boven 0,1 m/s door bewegingsonscherpte.
• Bereikbaarheid: De sensor werkt het beste op oppervlakken met duidelijke randen en scherpe kenmerken (zoals krasjes, naden, schroefdraden), wat ideaal is voor industriële defectdetectie. Gladdere oppervlakken zonder randen zijn minder goed te reconstrueren vanwege het gebrek aan events.

Betekenis en Toekomstperspectief

Deze technologie opent de deur tot praktische, hoogdoorvoerende industriële inspectie van grote componenten (bijv. in de luchtvaart en automotive).

• Efficiëntie: Het elimineert de noodzaak voor trage, stippende metingen, waardoor inspectietijden drastisch worden verkort.
• Kwaliteitsborging: Het stelt fabrikanten in staat om direct volumetrische defecten te kwantificeren en te vergelijken met CAD-modellen, zelfs op zeer grote schaal.
• Robuustheid: Door het gebruik van event-cameras is de sensor ongevoelig voor bewegingsonscherpte en heeft het een hoge dynamische bereik, wat het ideaal maakt voor snelle bewegingen in variabele lichtomstandigheden.

De auteurs benadrukken dat hoewel de huidige oplossing beperkt is tot oppervlakken met randen (vanwege de aard van event-based vision), dit perfect aansluit bij de meest kritieke defecten in de industrie. Toekomstig werk richt zich op het verbeteren van de ruimtelijke resolutie (via hogere resolutie event-sensoren) en het detecteren van gladdere oppervlakken.