Physical Annotation for Automated Optical Inspection: A Concept for In-Situ, Pointer-Based Training Data Generation

Technische Samenvatting: Fysieke Annotatie voor Geautomatiseerde Optische Inspectie

Probleemstelling
De implementatie van AI-gestuurde Geautomatiseerde Optische Inspectie (AOI) in industriële omgevingen wordt frequent gehinderd door het tekort aan hoogwaardige, handmatig gelabelde trainingsdata. Huidige workflows kampen met verschillende knelpunten:

• Datatekort: In kritieke kwaliteitscontrole met betrekking tot veiligheid zijn defecte onderdelen zeldzaam in vergelijking met het totale volume van geïnspecteerde objecten, wat het moeilijk maakt om voldoende positieve monsters te verzamelen.
• Workflowverstoring: Het proces van het digitaliseren en annoteren van defecten staat vaak los van de eigenlijke inspectieactiviteit, wat externe apparaten, aanvullende software en apart personeel vereist.
• Vaardigheidsbarrières: Effectief gebruik van bestaande annotatietools (bijv. CVAT, LabelImg) vereist doorgaans IT-expertise, wat een kloof creëert tussen domeinexperts (inspectiepersoneel) en de machine learning-pipeline.
• Weerstand tegen Verandering: Gevestigde inspectieprocessen zijn moeilijk te wijzigen vanwege financiële beperkingen en de noodzaak van goedkeuring door het management, vooral wanneer nieuwe workflows niet intuïtief zijn.

Methodologie
Het artikel stelt een nieuw Fysiek Annotatiesysteem voor dat is ontworpen om in-situ trainingsdata te genereren door middel van directe, pointer-gebaseerde interactie met fysieke objecten. De systeemarchitectuur en workflow worden als volgt gedefinieerd:

• Hardware-opstelling: Het systeem bestaat uit een 5 MP industriële camera, een bewegingsvolgsysteem met een getrackte pointer en een projector voor visuele feedback. Alle componenten zijn gemonteerd op een starre structuur 90 cm boven de werkruimte.
• Kalibratie en Transformatie:
  • Pivot-kalibratie: Bepaalt de vaste positie van de punt van de pointer ten opzichte van het dynamische referentiekader (DRF) van het apparaat door een stelsel van lineaire vergelijkingen op te lossen op basis van meerdere posities.
  • Systeemkalibratie: Gebruikt een asymmetrisch cirkelpatroon met een centrale inkeping van 0,5 mm. De punt van de pointer wordt in deze inkepingen geplaatst om 3D-referentiepunten te verzamelen, terwijl de camera 2D-beelden vastlegt. Een Perspective-n-Point (PnP) algoritme lost de camera-naar-wereld transformatie ($CTW$) en de pointer-naar-wereld transformatie ($WTP$) op.
  • Projector-kalibratie: Maakt gebruik van een uitgebreid pinhole-model en een methode van Moreno et al. met een checkerboard en geprojecteerde grijstintenpatronen om de projector-naar-camera transformatie ($BTC$) vast te stellen.
  • Wiskundige Formulering: Het systeem brengt de 3D-positie van de pointerpunt ($p^P_{tip}$) in kaart naar 2D-pixelcoördinaten ($u_C, v_C$) op het camerabeeld en ($u_B, v_B$) op het projectorvlak met behulp van een keten van homogene transformaties en intrinsieke matrices ($K_C, K_B$).
• Annotatieproces:
  • In-Situ Interactie: Inspecteurs gebruiken de getrackte pointer om trajecten (lijnen, polygonen, bounding boxes) direct op het objectoppervlak te tekenen. Visuele begeleiding wordt op het object geprojecteerd om nauwkeurigheid te garanderen.
  • Meerfasige Datageneratie: Om occlusie te voorkomen (waarbij de pointer het zicht op het defect blokkeert tijdens de registratie), scheidt het systeem de annotatie van de data-opname.
    1. Trajectregistratie: De pointer volgt het defect op een stationair object.
    2. Data-extractie: Het object wordt binnen het gezichtsveld van de camera bewogen. Een op optical flow gebaseerd punt-trackingalgoritme "plakt" het geregistreerde traject aan het oppervlak van het object over meerdere camerabeelden waarbij de pointer niet zichtbaar is.
  • Output: Het systeem exporteert gestandaardiseerde annotatieformaten (bijv. YOLO-coördinaten, XML, JSON) en integreert direct met de CVAT API voor bewerking en consistentie.

Belangrijkste Bijdragen

1. In-Situ, Pointer-gebaseerde Interactie: Een nieuwe benadering die het mogelijk maakt voor niet-IT-experts om trainingsdata te genereren door op objecten te wijzen, waardoor schermgebaseerde annotatietools overbodig worden.
2. Workflow Integratie: Het systeem integreert het annotatieproces direct in bestaande inspectieworkflows, waardoor de tijd en inspanning die nodig is om deskundige kennis te digitaliseren, wordt verminderd.
3. Dataugmentatie via Optical Flow: Een methode om meerdere trainingsmonsters te generen vanuit één annotatiegebeurtenis door de beweging van het object te volgen en het annotatiepad te projecteren op beelden die vanuit verschillende hoeken zijn genomen.
4. Systeemarchitectuur: Een volledig gekalibreerde hardware- en softwarestack die 3D ruimtelijke interacties omzet in 2D beeldannotaties die compatibel zijn met open-source ML-pipelines.

Resultaten
Het artikel presenteert voorlopige evaluatieresultaten die zich richten op de haalbaarheid van het concept in plaats van een uitgebreide prestatiebenchmark:

• Trajectnauwkeurigheid: In voorlopige experimenten waarbij drie personen diverse vormen (lijnen, hexagonen, rechthoeken, sinuscurves en onregelmatige vormen) op een vlak oppervlak traceerden over 90 herhalingen:
  • De gemiddelde afwijking voor regelmatige vormen was 0,72 mm.
  • De gemiddelde afwijking voor onregelmatige vormen was 1,62 mm.
• Workflow Validatie: Het systeem heeft succesvol aangetoond in staat te zijn om gedetailleerde annotatietrajecten vast te leggen en deze te integreren met CVAT, waarmee de haalbaarheid van de voorgestelde datageneratie-pipeline is bevestigd.

Betekenis en Claims
De auteurs positioneren dit werk als een conceptuele brug tussen menselijke expertise en geautomatiseerde datageneratie. De primaire betekenis ligt in:

• Democratisering van Datageneratie: Het stelt domeinexperts (inspecteurs) in staat om direct bij te dragen aan ML-training zonder dat zij over IT-vaardigheden hoeven te beschikken.
• Verbeterde Transparantie: Het maakt het datageneratieproces transparanter en meer geïntegreerd, wat de acceptatie van AI in industriële processen potentieel vergroot.
• Efficiëntie: Het voorkomt dat waardevolle trainingsmonsters over het hoofd worden gezien door data vast te leggen op het moment van inspectie.

Het artikel stelt expliciet dat de focus ligt op de conceptuele beschrijving en technische implementatie. Er wordt erkend dat verder onderzoek vereist is om de nauwkeurigheid van de tracking, de efficiëntie van de annotatie en de algehele bruikbaarheid van het systeem in praktische, grootschalige implementaties te valideren. De auteurs beweren niet dat het systeem momenteel een voltooid commercieel product is, maar eerder een proof-of-concept die een cruciaal knelpunt in de beschikbaarheid van trainingsdata voor industriële AI aanpakt.