Breaking the Scalability Limit of Multi-Projector Calibration with Embedded Cameras

1. Declaração do Problema

Os sistemas convencionais de calibração de projetores múltiplos enfrentam um gargalo fundamental de escalabilidade.

• Requisito Sequencial: Para calibrar múltiplos projetores, padrões de luz estruturada (por exemplo, códigos de Gray) devem ser projetados e capturados sequencialmente. Se padrões de múltiplos projetores forem projetados simultaneamente, eles se sobrepõem na superfície alvo, tornando os padrões individuais indistinguíveis para uma câmera externa devido à reflexão difusa.
• Complexidade Temporal Linear: Consequentemente, o tempo e o esforço de calibração aumentam linearmente com o número de projetores ($O(M)$, onde $M$ é o número de projetores).
• Impacto: Isso impede a implantação de sistemas de grande escala que exigem dezenas ou centenas de projetores, como empilhamento de alto brilho, displays de super-resolução, displays de campo de luz e sistemas de supressão de sombras.

2. Metodologia

Os autores propõem um novo framework de calibração que substitui o alvo de calibração impresso tradicional por um painel embutido com câmeras.

A. Conceito Central: Configuração Inversa

Em vez de usar uma câmera externa para observar padrões refletidos em um alvo, o sistema embute câmeras diretamente no alvo de calibração, com seus centros ópticos alinhados ao plano do painel.

• Codificação Direcional: Quando múltiplos projetores projetam simultaneamente padrões de luz estruturada, os raios de luz de diferentes projetores entram nas câmeras embutidas a partir de diferentes ângulos de incidência.
• Separação: Como as câmeras capturam a luz com base na direção (semelhante a câmeras de campo de luz), o sistema pode distinguir qual projetor emitiu a luz observada em um pixel específico, mesmo que os padrões se sobreponham espacialmente na superfície do painel.

B. Processo de Calibração

1. Projeção de Padrões: Todos os $M$ projetores projetam simultaneamente padrões de luz estruturada (códigos de Gray para ID/posição grosseira, padrões de deslocamento de linha para precisão sub-pixel) e uma sequência temporal binária para codificar o ID do Projetor.
2. Captura de Dados: As câmeras embutidas capturam a luz. Para cada pixel da câmera recebendo luz, o sistema decodifica:
   • O ID do Projetor (da sequência temporal).
   • A Coordenada do Pixel do Projetor ($p_m$) (dos códigos de Gray e padrões de deslocamento de linha).
   • A Coordenada do Pixel da Câmera ($c_n$).
3. Correspondência: Isso estabelece uma correspondência entre o pixel do projetor e o centro óptico da câmera no painel. Ao repetir isso para múltiplas poses do painel, os parâmetros intrínsecos e extrínsecos são estimados usando o método de Zhang.

C. Compensação de Desalinhamento

Um desafio técnico crítico é que os centros ópticos das câmeras embutidas não podem ser perfeitamente alinhados com a superfície física do painel devido ao alojamento da lente e óptica composta.

• Problema: Se o centro óptico estiver deslocado, o ponto de interseção do raio de luz no painel ($x_n$) varia por projetor, introduzindo erros geométricos.
• Solução: Os autores introduzem uma etapa de calibração offline para estimar uma transformação de homografia ($M_n$) para cada câmera embutida.
  • Eles projetam uma única linha de uma posição conhecida de projetor para uma câmera embutida.
  • Uma câmera externa mede a interseção desse raio com o painel.
  • Esses dados mapeiam a coordenada do pixel da câmera para a verdadeira coordenada de interseção no painel, compensando o deslocamento óptico durante a fase principal de calibração.

3. Contribuições Principais

1. Avanço na Escalabilidade: O método reduz o número de ciclos de projeção-captura necessários de linear ($O(M)$) para quase constante ($O(1)$) em relação ao número de projetores. Todos os projetores são calibrados em um único lote.
2. Separação Direcional: Resolve o problema de "sobreposição de padrões" utilizando a direção de incidência como chave de separação, permitindo a decodificação simultânea de luz estruturada sobreposta.
3. Robustez à Luz Ambiente: Como as câmeras embutidas recebem luz diretamente (alto contraste) em vez de depender de reflexão difusa, o sistema permanece funcional mesmo sob iluminação ambiente forte (por exemplo, luz solar direta ao ar livre), onde os métodos convencionais falham.
4. Compensação de Alta Precisão: O algoritmo proposto corrige efetivamente o desalinhamento do centro óptico, alcançando precisão sub-pixel comparável ou superior aos métodos convencionais.

4. Resultados Experimentais

Os autores validaram o sistema usando um painel protótipo com 4 câmeras embutidas e experimentos com até 25 projetores.

• Precisão de Alinhamento:
  • Em um experimento com 2 projetores, o método proposto com compensação alcançou precisão de alinhamento comparável ao método convencional (erro de reprojeção RMS < 1,0 pixel).
  • Sem compensação, os erros aumentaram para ~2,4 pixels, validando a necessidade do algoritmo de correção.
  • Em um experimento com 25 projetores, o método compensado produziu imagens mais nítidas que o método convencional. O método convencional sofreu de resolução aparente mais baixa porque a câmera externa estava longe do painel, enquanto as câmeras embutidas estão na fonte.
• Eficiência:
  • Sistema de 25 Projetores: O método convencional exigiu 1.100 padrões (44 por projetor) e ~12 minutos. O método proposto exigiu apenas 54 padrões no total, alcançando uma redução de 95% na contagem de padrões e no tempo.
• Robustez à Luz Ambiente:
  • Testado ao ar livre sob ~70 klux (luz solar direta). O método proposto separou e decodinou os padrões com sucesso, enquanto o método convencional de câmera externa falhou completamente devido aos padrões desbotados.
• Limite de Separação: O sistema separou com sucesso projetores com uma separação angular tão pequena quanto 0,88 graus.

5. Significado

Este trabalho aborda um problema de escalabilidade de quatro décadas em mapeamento de projeção e sistemas de projetores múltiplos. Ao mudar o paradigma de "observar reflexão" para "direcionar captura", os autores permitem:

• Implantação Rápida: Arrays de grande escala (por exemplo, centenas de projetores para displays de campo de luz) agora podem ser calibrados em minutos, em vez de horas ou dias.
• Novas Aplicações: Facilita o uso prático de sistemas complexos como displays de supressão de sombras e empilhamento de alto brilho, que anteriormente eram difíceis demais de calibrar.
• Potencial Futuro: Os dados direcionais capturados pelas câmeras embutidas abrem caminho para refinamentos futuros, como estimativa de aberrações de lente, formas de abertura e redução do número de poses de painel necessárias em iterações futuras.