Physical Annotation for Automated Optical Inspection: A Concept for In-Situ, Pointer-Based Training Data Generation

Resumo Técnico: Anotação Física para Inspeção Óptica Automatizada

Definição do Problema
A implementação de Inspeção Óptica Automatizada (AOI) baseada em IA em ambientes industriais é frequentemente dificultada pela escassez de dados de treinamento de alta qualidade rotulados manualmente. Os fluxos de trabalho atuais enfrentam vários gargalos:

• Escassez de Dados: Em controle de qualidade de segurança crítica, peças defeituosas são raras em comparação ao volume total de objetos inspecionados, tornando difícil coletar amostras positivas suficientes.
• Interrupção do Fluxo de Trabalho: O processo de digitalização e anotação de defeitos é frequentemente separado da atividade de inspeção real, exigindo dispositivos externos, softwares suplementares e pessoal distinto.
• Barreiras de Habilidade: O uso eficaz de ferramentas de anotação existentes (ex: CVAT, LabelImg) normalmente requer perícia em TI, criando um hiato entre os especialistas de domínio (pessoal de inspeção) e o pipeline de aprendizado de máquina.
• Resistência à Mudança: Processos de inspeção estabelecidos são difíceis de modificar devido a restrições financeiras e à necessidade de aprovação da gestão, especialmente quando novos fluxos de trabalho não são intuitivos.

Metodologia
O artigo propõe um novo Sistema de Anotação Física projetado para gerar dados de treinamento in-situ através de interação direta, baseada em ponteiro, com objetos físicos. A arquitetura e o fluxo de trabalho do sistema são definidos como:

• Configuração de Hardware: O sistema compreende uma câmera industrial de 5 MP, um sistema de rastreamento de movimento com um ponteiro rastreado e um projetor para feedback visual. Todos os componentes estão montados em uma estrutura rígida a 90 cm acima da área de trabalho.
• Calibração e Transformação:
  • Calibração do Pivô: Determina a posição fixa da ponta do ponteiro em relação ao referencial dinâmico (DRF) do dispositivo através da resolução de um sistema de equações lineares baseado em múltiplas poses.
  • Calibração do Sistema: Utiliza um padrão de círculo assimétrico com um entalhe central de 0,5 mm. A ponta do ponteiro é colocada nesses entalhes para coletar pontos de referência 3D, enquanto a câmera captura imagens 2D. Um algoritmo de Perspective-n-Point (PnP) resolve a transformação câmera-para-mundo ($CTW$) e ponteiro-para-mundo ($WTP$).
  • Calibração do Projetor: Utiliza um modelo de pinhole estendido e um método de Moreno et al. envolvendo um tabuleiro de xadrez e padrões de cinza projetados para estabelecer a transformação projetor-para-câmera ($BTC$).
  • Formulação Matemática: O sistema mapeia a posição 3D da ponta do ponteiro ($p^P_{tip}$) para coordenadas de pixels 2D ($u_C, v_C$) na imagem da câmera e ($u_B, v_B$) no plano do projetor usando uma cadeia de transformações homogêneas e matrizes intrínsecas ($K_C, K_B$).
• Processo de Anotação:
  • Interação In-Situ: Inspetores usam o ponteiro rastreado para desenhar trajetórias (linhas, polígonos, caixas delimitadoras) diretamente na superfície do objeto. A orientação visual é projetada sobre o objeto para garantir a precisão.
  • Geração de Dados em Múltiplas Etapas: Para evitar a oclusão (onde o ponteiro bloqueia a visão do defeito durante a gravação), o sistema separa a anotação da captura de dados.
    1. Captura de Trajetória: O ponteiro traça o defeito em um objeto estacionário.
    2. Extração de Dados: O objeto é movido dentro do campo de visão da câmera. Um algoritmo de rastreamento de pontos baseado em fluxo óptico "cola" a trajetória registrada à superfície do objeto através de múltiplas frames de câmera onde o ponteiro não é visível.
  • Saída: O sistema exporta formatos de anotação padronizados (ex: coordenadas YOLO, XML, JSON) e integra-se diretamente com a API do CVAT para edição e consistência.

Principais Contribuições

1. Interação In-Situ Baseada em Ponteiro: Uma abordagem inovadora que permite que especialistas não-TI gerem dados de treinamento apontando para objetos, eliminando a necessidade de ferramentas de anotação baseadas em tela.
2. Integração de Fluxo de Trabalho: O sistema incorpora o processo de anotação diretamente nos fluxos de trabalho de inspeção existentes, reduzindo o tempo e o esforço necessários para digitalizar o conhecimento especializado.
3. Aumento de Dados via Fluxo Óptico: Um método para gerar múltiplos exemplos de treinamento a partir de um único evento de anotação, rastreando o movimento do objeto e projetando o caminho da anotação em imagens tiradas de vários ângulos.
4. Arquitetura do Sistema: Um stack de hardware e software totalmente calibrado que converte interações espaciais 3D em anotações de imagem 2D compatíveis com pipelines de ML de código aberto.

Resultos
O artigo apresenta resultados preliminares de avaliação focando na viabilidade do conceito, em vez de um benchmark de desempenho abrangente:

• Precisão da Trajetória: Em experimentos preliminares envolvendo três indivíduos traçando várias formas (linhas, hexágonos, retângulos, curvas senoidais e formas irregulares) em uma superfície plana ao longo de 90 repetições:
  • O desvio médio para formas regulares foi de 0,72 mm.
  • O desvio médio para formas irregulares foi de 1,62 mm.
• Validação do Fluxo de Trabalho: O sistema demonstrou com sucesso a capacidade de capturar trajetórias de anotação detalhadas e integrá-las ao CVAT, confirmando a viabilidade do pipeline de geração de dados proposto.

Significância e Alegações
Os autores posicionam este trabalho como uma ponte conceitual entre o conhecimento humano e a geração automatizada de dados. A principal significância reside em:

• Democratização da Geração de Dados: Permitir que especialistas de domínio (inspetores) contribuam diretamente para o treinamento de ML sem a necessidade de habilidades em TI.
• Aumento da Transparência: Tornar o processo de geração de dados mais transparente e integrado, potencialmente aumentando a aceitação da IA nos processos industriais.
• Eficiência: Evitar que amostras de treinamento valiosas sejam negligenciadas, capturando os dados no momento da inspeção.

O artigo afirma explicitamente que o foco está na descrição conceitual e implementação técnica. Reconhece-se que pesquisas adicionais são necessárias para validar a precisão do rastreamento, a eficiência da anotação e a usabilidade geral do sistema em implementações práticas de larga escala. Os autores não alegam que o sistema é atualmente um produto comercial finalizado, mas sim uma prova de conceito que aborda o gargalo crítico da disponibilidade de dados de treinamento na IA industrial.