Breaking the Sub-Millimeter Barrier: Eyeframe Acquisition from Color Images

Deze paper introduceert een nieuwe kunstvisie-gebaseerde methode die multi-view afbeeldingen van een InVision-systeem gebruikt om brillenglazen met submillimeternauwkeurigheid te traceren, waardoor de noodzaak voor mechanische traceerapparatuur en de complexiteit van de workflow voor opticiens worden geëlimineerd.

De kern

Brilranden met de camera in plaats van met de liniaal: Een nieuwe manier om brillen te meten

Stel je voor dat je naar een opticien gaat om een nieuwe bril te laten maken. Vroeger moest de opticien de metalen of plastic rand van je bril (de montuur) meten met een speciaal, mechanisch apparaat. Het was als het meten van een raamkozijn met een liniaal: je moest het apparaat precies positioneren, kalibreren en het proces duurde even. Het was een beetje als het proberen te snijden van een cake met een bot mes; het werkt, maar het is niet altijd perfect en het kost tijd.

Deze paper introduceert een slimme, nieuwe manier om dit te doen, gebaseerd op kunstmatige visie (computer-zien). In plaats van een zwaar, mechanisch apparaat, gebruiken ze gewoon een camera en slimme software. Het doel is om de rand van de bril met een precisie van minder dan een millimeter te meten, zodat de glazen perfect passen.

Hier is hoe ze dit doen, vertaald naar alledaagse termen:

1. De Camera-Toren (De "Oog")

Stel je een kleine toren voor met vier camera's die allemaal tegelijk foto's maken van iemand die een bril op heeft. Dit is hun "InVision"-systeem. Het is alsof je een persoon omringt met vier vrienden die elk vanuit een andere hoek een foto maken. Ze gebruiken zowel gewoon licht als infraroodlicht om alles scherp te krijgen.

2. De Digitale Schaar (Segmentatie)

De eerste stap voor de computer is: "Wat is de bril en wat is het gezicht?"
Stel je voor dat je een foto hebt van iemand met een bril, maar je wilt alleen de bril hebben. De computer gebruikt een slim algoritme (geïnspireerd op een model dat "Segment Anything" heet) dat fungeert als een digitale schaar. Het knipt de bril precies uit de foto, zodat alleen de montuur overblijft en de neus en oren worden weggegooid. Dit is cruciaal, want als de computer ook de neus meet, wordt het resultaat verkeerd.

3. De Diepte-kaart (De "3D-Gevoel")

Een gewone foto is plat (2D), maar een bril is een 3D-voorwerp. Hoe weet de computer hoe ver de rand van de bril van de camera af staat?
Ze gebruiken een tweede slimme tool die een diepte-kaart maakt. Denk hierbij aan een thermische foto of een wolk van kleurrijke stippen, maar dan in grijs. Hoe "warmer" (of lichter) de kleur, hoe dichter het object bij de camera is. De computer leert zo de vorm van de bril in 3D te "voelen", zonder dat ze een laser of speciale projector nodig hebben. Het is alsof je met je ogen de vorm van een object voelt door naar de schaduwen en contouren te kijken.

4. De Samenvoeging (Het "Puzzelstuk")

Nu heeft de computer twee dingen:

1. Een foto van de bril (de kleur).
2. Een kaart van hoe diep de bril is (de vorm).

De computer pakt deze twee informatiebronnen en plakt ze samen, alsof je een puzzelstukje met een foto erop en een stukje met de diepte eronder plakt. Vervolgens kijkt de computer naar de vier verschillende hoeken tegelijk (zoals vier mensen die samen een object bekijken) en berekent hij precies hoe de rand van de bril eruitziet.

Wat is het resultaat?

De onderzoekers hebben dit getest met echte data. Het resultaat is verbazingwekkend:

• Precisie: Ze meten de randen met een foutmarge van minder dan een halve millimeter (gemiddeld 0,42 mm). Dat is sub-millimeter precisie!
• Snelheid: Het gaat veel sneller dan het oude mechanische apparaat.
• Eenvoud: Er is geen zware, dure machine nodig die je moet kalibreren. Alleen een camera en een computer.

Waarom is dit belangrijk?

Vroeger was het meten van brillen een saaie, tijdrovende klus voor opticiens. Met deze nieuwe methode wordt het proces:

• Sneller: Geen gedoe met instellingen.
• Makkelijker: Je hoeft geen dure specialistische apparatuur te kopen.
• Betrouwbaarder: De computer maakt minder fouten dan een menselijke hand die een liniaal vasthoudt.

Kortom: Ze hebben de "liniaal" vervangen door een "slimme camera" die de vorm van de bril kan "voelen" en meten, zodat je nieuwe glazen perfect in je montuur passen. Het is een stap van de "oude school" naar de toekomst van de optische industrie.

Technische samenvatting

Probleemstelling

In de optische industrie is sub-millimeter precisie essentieel voor het traceren van brillenglazen (eyeframes) om een perfecte lensfitting en optimale visuele correctie te garanderen. Traditionele methoden maken gebruik van mechanische traceraars die nauwkeurige positionering, kalibratie en extra apparatuur vereisen. Dit resulteert in een inefficiënte werkwijze voor opticiens, die tijd- en kostenintensief is. Er is een groeiende behoefte aan oplossingen die de procesefficiëntie en snelheid verhogen zonder in te leveren op de nauwkeurigheid, en die minder afhankelijk zijn van gespecialiseerde, dure hardware.

Methodologie

De auteurs stellen een nieuwe, op kunstmatige visie (computer vision) gebaseerde aanpak voor die multi-view informatie gebruikt om de geometrie van brillenglazen te meten. Het systeem werkt met beelden van een InVision-systeem (een toren met vier gekalibreerde camera's) en bestaat uit drie hoofdfasen:

1. Acquisitie en Segmentatie:

   • Systeem: Vier synchronisatie-camera's nemen beelden op van een gebruiker met een bril op ongeveer 50 cm afstand, met zichtbaar en infrarood licht.
   • Segmentatie: Om het montuur van de achtergrond en het gezicht te scheiden, wordt een aangepast model gebaseerd op SAM2 (Segment Anything Model 2) gebruikt. Dit model, een transformer-architectuur met streaming memory, is fijngefineerd (fine-tuned) op een custom dataset van 1.002 gelabelde beelden. Het model is ontworpen om de achtergrond te segmenteren terwijl de structuur van het montuur behouden blijft. Verschillende varianten (Tiny, Small, Base+, Large) werden getest.

2. Diepteschattting (Depth Estimation):

   • Omdat er geen ground-truth 3D-data beschikbaar is, wordt gebruik gemaakt van een relatieve dieptekaart.
   • Het model Depth Anything (een pre-trained deep learning model) wordt gebruikt om relatieve diepte-informatie te genereren. Dit biedt robuustheid en generalisatievermogen zonder specifieke finetuning voor de taak. Drie varianten (ViT-S, ViT-B, ViT-L) werden geëvalueerd, waarbij ViT-Base werd geselecteerd als beste compromis tussen nauwkeurigheid en rekencapaciteit.

3. Trace-meting (Trace Measurement):

   • Input: Het systeem combineert RGB-beelden met de gegenereerde dieptekaarten en segmentatiemasks. De input is een 4D-tensor (RGB + diepte) per camera.
   • Architectuur: Een Multi-View Stereo (MVS) benadering wordt gebruikt. De beelden van de vier camera's worden verwerkt om 3D-structurele kenmerken te extraheren.
   • Backbone: EfficientNetV2 dient als feature extractor.
   • Fusiestrategie: Er wordt onderzocht of "early fusion" (kenmerken samenvoegen op convolutieniveau) of "late fusion" (onafhankelijke verwerking gevolgd door aggregatie) beter werkt. De resultaten tonen aan dat late fusion met max-pooling de beste prestaties levert.
   • Output: Het model voorspelt een "trace" bestaande uit 600 punten per oog, die de straal (afstand van het optische centrum tot de binnenrand van het montuur) weergeven.

Belangrijkste Bijdragen

• Nieuwe Werkstroom: Een volledig visuele oplossing die mechanische traceraars en patronenprojectie overbodig maakt, wat de workflow voor opticiens vereenvoudigt.
• Datasets: Introductie van twee specifieke datasets:
  1. Een dataset voor segmentatie (1.002 beelden met masks).
  2. Een dataset voor trace-meting (500 metingen met ground-truth straalwaarden).
• Architecturale Innovatie: Een effectieve combinatie van SAM2 voor segmentatie, Depth Anything voor diepte, en een EfficientNetV2-gebaseerde MVS-architectuur voor de uiteindelijke meting.
• Sub-millimeter Precisie: Het aantonen dat visuele systemen de industriestandaard van sub-millimeter nauwkeurigheid kunnen bereiken.

Resultaten

De experimentele evaluatie op real-world data toont de volgende resultaten:

• Segmentatie: De Base+ configuratie van het SAM2-gebaseerde model bereikte een IoU (Intersection over Union) van 0,958, wat aanzienlijk beter is dan DeepLabV3+ (0,931).
• Trace-meting:
  • De beste configuratie (EfficientNetV2-S met grijstinten + diepte input en late fusion max-pooling) bereikte een gemiddelde fout van 0,4238 mm en een maximale fout van 1,8466 mm.
  • Dit is een verbetering van meer dan 50% ten opzichte van een "vanilla" model (alleen RGB) en een verbetering van 53% ten opzichte van de baseline zonder diepte-informatie.
  • 88% van alle metingen ligt onder de 1 mm foutmarge.
  • De prestaties zijn concurrerend met of beter dan bestaande metrologische methoden (zoals faseverschuivingsprofilometrie) die vaak fouten rond de 1-2 mm hebben, maar dan wel met complexere hardware.

Betekenis

Dit werk markeert een doorbraak in de optische industrie door aan te tonen dat sub-millimeter precisie haalbaar is met uitsluitend kleurbeelden en diepteschattting, zonder de noodzaak van gespecialiseerde mechanische apparatuur. De methode elimineert de tijd die nodig is voor kalibratie en positionering, waardoor de workflow voor opticiens aanzienlijk wordt versneld en vereenvoudigd. Het bewijst dat computer vision-methoden nu klaar zijn om de strenge kwaliteitsnormen van de optische productie te halen, wat leidt tot een meer schaalbare en kosteneffectieve oplossing voor het meten van brillenglazen.