Breaking the Scalability Limit of Multi-Projector Calibration with Embedded Cameras

1. Probleemstelling

Conventionele systemen voor kalibratie van multi-projectoren staan voor een fundamenteel schaalbaarheidsprobleem.

• Sequentiële Vereiste: Om meerdere projectoren te kalibreren, moeten gestructureerde lichtpatronen (bijvoorbeeld Gray-codes) sequentieel worden geprojecteerd en vastgelegd. Als patronen van meerdere projectoren gelijktijdig worden geprojecteerd, overlappen ze op het doeloppervlak, waardoor individuele patronen voor een externe camera ononderscheidbaar worden door diffuse reflectie.
• Lineaire Tijdscomplexiteit: Bijgevolg nemen de kalibratietijd en -inspanning lineair toe met het aantal projectoren ($O(M)$, waarbij $M$ het aantal projectoren is).
• Impact: Dit belemmert de implementatie van grootschalige systemen die tientallen of honderden projectoren vereisen, zoals high-brightness stacking, super-resolutie displays, light-field displays en systemen voor schaduwonderdrukking.

2. Methodologie

De auteurs stellen een nieuw kalibratiekader voor dat de traditionele gedrukte kalibratiedoelwit vervangt door een bord dat is voorzien van camera's.

A. Kernconcept: Omgekeerde Opstelling

In plaats van een externe camera te gebruiken om patronen waar te nemen die van een doelwit worden gereflecteerd, zijn in het systeem camera's direct in het kalibratiedoelwit ingebouwd, met hun optische centra uitgelijnd met het vlak van het bord.

• Directionele Encodering: Wanneer meerdere projectoren gelijktijdig gestructureerd licht projecteren, komen de lichtstralen van verschillende projectoren onder verschillende invalshoeken de ingebouwde camera's binnen.
• Scheiding: Omdat de camera's licht op basis van richting vastleggen (vergelijkbaar met light-field camera's), kan het systeem onderscheid maken welke projector het licht heeft uitgezonden dat op een specifiek pixel wordt waargenomen, zelfs als de patronen ruimtelijk overlappen op het oppervlak van het bord.

B. Kalibratieproces

1. Patroonprojectie: Alle $M$ projectoren projecteren gelijktijdig gestructureerde lichtpatronen (Gray-codes voor ruwe ID/positie, lijverschuifpatronen voor sub-pixelnauwkeurigheid) en een binaire temporele reeks om de Projector-ID te coderen.
2. Datavastlegging: Ingebouwde camera's leggen het licht vast. Voor elke camera-pixel die licht ontvangt, decodeert het systeem:
   • De Projector-ID (uit de temporele reeks).
   • De Projector-pixelcoördinaat ($p_m$) (uit Gray-codes en lijverschuifpatronen).
   • De Camera-pixelcoördinaat ($c_n$).
3. Correspondentie: Dit vestigt een correspondentie tussen de projector-pixel en het optische centrum van de camera op het bord. Door dit te herhalen voor meerdere houdingen van het bord, worden intrinsieke en extrinsieke parameters geschat met de methode van Zhang.

C. Compensatie voor Misalignering

Een kritieke technische uitdaging is dat de optische centra van ingebouwde camera's niet perfect kunnen worden uitgelijnd met het fysieke oppervlak van het bord vanwege de lensbehuizing en samengestelde optica.

• Probleem: Als het optische centrum verschoven is, varieert het snijpunt van de lichtstraal op het bord ($x_n$) per projector, wat geometrische fouten introduceert.
• Oplossing: De auteurs introduceren een offline kalibratiestap om een homografie-transformatie ($M_n$) te schatten voor elke ingebouwde camera.
  • Ze projecteren een enkele lijn vanuit een bekende projectorpositie naar een ingebouwde camera.
  • Een externe camera meet het snijpunt van deze straal met het bord.
  • Deze data koppelt de camera-pixelcoördinaat aan de ware snijpuntcoördinaat op het bord, waardoor de optische verschuiving tijdens de hoofdfase van de kalibratie wordt gecompenseerd.

3. Belangrijkste Bijdragen

1. Schaalbaarheidsdoorbraak: De methode reduceert het aantal benodigde projectie-opnamecycli van lineair ($O(M)$) naar bijna constant ($O(1)$) ten opzichte van het aantal projectoren. Alle projectoren worden in één batch gekalibreerd.
2. Directionele Scheiding: Het lost het probleem van "patroonoverlapping" op door invalshoek te gebruiken als scheidings sleutel, waardoor gelijktijdige decoding van overlappend gestructureerd licht mogelijk wordt.
3. Robuustheid tegen Omgevingslicht: Omdat ingebouwde camera's licht direct ontvangen (hoog contrast) in plaats van afhankelijk te zijn van diffuse reflectie, blijft het systeem functioneel zelfs onder sterke omgevingsverlichting (bijvoorbeeld buitenzonlicht), waar conventionele methoden falen.
4. Hoogprecisie Compensatie: Het voorgestelde algoritme corrigeert effectief voor misalignering van het optische centrum en bereikt sub-pixelnauwkeurigheid die vergelijkbaar is met of beter is dan conventionele methoden.

4. Experimentele Resultaten

De auteurs hebben het systeem gevalideerd met een prototype bord met 4 ingebouwde camera's en experimenten met tot 25 projectoren.

• Uitlijnnauwkeurigheid:
  • In een experiment met 2 projectoren bereikte de voorgestelde methode met compensatie een uitlijnnauwkeurigheid die vergelijkbaar was met de conventionele methode (RMS reprojectiefout < 1,0 pixel).
  • Zonder compensatie namen de fouten toe tot ongeveer 2,4 pixels, wat de noodzaak van het correctie-algoritme bevestigt.
  • In een experiment met 25 projectoren produceerde de gecompenseerde methode scherpere beelden dan de conventionele methode. De conventionele methode leed aan een lagere schijnbare resolutie omdat de externe camera ver van het bord verwijderd was, terwijl de ingebouwde camera's zich bij de bron bevinden.
• Efficiëntie:
  • Systeem met 25 Projectoren: De conventionele methode vereiste 1.100 patronen (44 per projector) en ongeveer 12 minuten. De voorgestelde methode vereiste slechts 54 patronen in totaal, wat een reductie van 95% in patroonaantal en tijd opleverde.
• Robuustheid tegen Omgevingslicht:
  • Getest buiten onder ongeveer 70 klux (direct zonlicht). De voorgestelde methode slaagde erin patronen te scheiden en te decoderen, terwijl de conventionele methode met externe camera volledig faalde door uitgewassen patronen.
• Scheidingslimiet: Het systeem slaagde erin projectoren met een hoekafstand van slechts 0,88 graden te scheiden.

5. Betekenis

Dit werk adresseert een schaalbaarheidsprobleem dat al vier decennia bestaat in projection mapping en multi-projectorsystemen. Door het paradigma te verschuiven van "reflectie observeren" naar "direct vastleggen", stellen de auteurs het volgende mogelijk:

• Snelle Implementatie: Grootschalige arrays (bijvoorbeeld honderden projectoren voor light-field displays) kunnen nu binnen enkele minuten worden gekalibreerd in plaats van uren of dagen.
• Nieuwe Toepassingen: Het faciliteert het praktische gebruik van complexe systemen zoals displays voor schaduwonderdrukking en high-brightness stacking, die eerder te moeilijk te kalibreren waren.
• Toekomstpotentieel: De directionele data die door de ingebouwde camera's wordt vastgelegd, opent de deur voor verdere verfijningen, zoals het schatten van lensaberraties, apertuurvormen en het verminderen van het aantal benodigde houdingen van het bord in toekomstige iteraties.