💻 computer science

Physical Annotation for Automated Optical Inspection: A Concept for In-Situ, Pointer-Based Training Data Generation

Este artículo presenta un novedoso sistema de anotación física que utiliza la interacción in situ basada en punteros y la guía de proyectores para convertir eficientemente el conocimiento de inspección humana experta en datos de entrenamiento estandarizados para la inspección óptica automatizada, cerrando así la brecha entre los expertos no especializados en TI y los procesos de aprendizaje automático.

Autores originales: Oliver Krumpek, Oliver Heimann, Jörg Krüger

Publicado 2026-07-07

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Oliver Krumpek, Oliver Heimann, Jörg Krüger

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a detectar defectos en una pieza mecánica, como un rayón en un engranaje. Normalmente, para enseñarle al robot, un humano tiene que sentarse frente a una computadora, mirar la foto de un engranaje y dibujar un cuadro alrededor del rayón usando un ratón. Esto es lento, aburrido y requiere que el humano interrumpa su trabajo real para "anotar" los datos.

Este artículo presenta una forma mucho más natural de hacer esto: la Anotación Física.

Así es como funciona el sistema, desglosado en conceptos simples:

1. El enfoque de la "Varita Mágica"

En lugar de usar un ratón en una pantalla, el inspector sostiene un puntero especial (como un bolígrafo de alta tecnología) y apunta directamente al objeto real que está sobre la mesa.

La analogía: Piensa en ello como un profesor señalando un mapa en un salón de clases para mostrarle a un estudiante dónde está una ciudad, en lugar de pedirle al estudiante que escriba las coordenadas de la ciudad en una computadora. El inspector señala el rayón real y el sistema entiende exactamente hacia dónde está apuntando en el espacio 3D.

2. El "Guía Fantasmal" (Retroalimentación Visual)

Para asegurar que el inspector esté apuntando con precisión, el sistema utiliza un proyector.

La analogía: Imagina una mano "fantasma" o una línea láser que aparece sobre el objeto y que sigue el puntero del inspector en tiempo real. Si el inspector mueve su mano, la línea fantasma se mueve con ella. Esto le brinda una confirmación visual instantánea de que la computadora lo está rastreando correctamente, haciendo que el proceso se sienta intuitivo y confiable.

3. El "Baile de Dos Pasos" (Resolviendo el Problema de Bloqueo)

Hay un pequeño problema: si apuntas a un objeto, tu mano (y el puntero) bloquean la vista de la cámara hacia el objeto. No puedes tomar una foto del rayón si tu mano lo está cubriendo.

La solución: El sistema divide el trabajo en dos pasos:
1. El Trazo: El inspector apunta al objeto para dibujar la forma del defecto. El sistema registra el camino del puntero.
2. La Captura: El inspector retira la mano. El sistema toma entonces una foto clara del objeto.
El truco de magia: La computadora utiliza una técnica llamada flujo óptico (que es como un rastreador de video inteligente) para "pegar" el camino que el inspector dibujó sobre la foto clara. Esencialmente dice: "Aunque la mano no esté en esta foto, sabemos exactamente dónde estaba esa línea en relación con el objeto, así que dibujémosla allí". Esto permite que una sola acción de señalar genere muchas fotos de entrenamiento diferentes desde distintos ángulos.

4. El "Traductor" (Calibración)

Para que esto funcione, la computadora necesita saber exactamente dónde está el puntero en relación con la cámara y el proyector.

La analogía: Antes de que el sistema comience, pasa por una "danza de calibración". El inspector toca puntos específicos en un tablero especial con el puntero. Esto le enseña a la computadora la geometría exacta de la habitación, la cámara y el puntero, de modo que pueda traducir un movimiento físico en una coordenada digital perfectamente.

5. El Resultado

El sistema toma estos movimientos físicos y los convierte en etiquetas digitales estándar (como cuadros delimitadores o contornos) que el software de aprendizaje automático (específicamente una herramienta llamada CVAT) puede leer.

El beneficio: Esto permite que expertos que son excelentes detectando defectos pero malos programando o usando software complejo puedan crear datos de entrenamiento fácilmente. Esto cierra la brecha entre la experiencia humana y la necesidad de datos del robot, haciendo que el proceso sea más rápido y esté más integrado en el flujo de trabajo real de la fábrica.

En resumen: El artículo propone un sistema donde le enseñas a un robot a ver defectos simplemente señalándolos con una varita especial, mientras un proyector te muestra un "fantasma" de tu trayectoria de señalización, y la computadora combina hábilmente tu trayectoria de señalización con fotos claras para crear datos de entrenamiento perfectos.

Resumen Técnico: Anotación Física para la Inspección Óptica Automatizada

Planteamiento del Problema
La implementación de la Inspección Óptica Automatizada (AOI) impulsada por IA en entornos industriales se ve frecuentemente obstaculizada por la escasez de datos de entrenamiento de alta calidad etiquetados manualmente. Los flujos de trabajo actuales enfrentan varios cuellos de botella:

Escasez de Datos: En el control de calidad de seguridad crítica, las piezas defectuosas son raras en comparación con el volumen total de objetos inspeccionados, lo que dificulta la recopilación de muestras positivas suficientes.
Disrupción del Flujo de Trabajo: El proceso de digitalizar y anotar defectos suele estar separado de la actividad de inspección real, lo que requiere dispositivos externos, software suplementario y personal distinto.
Barreras de Habilidades: El uso efectivo de las herramientas de anotación existentes (por ejemplo, CVAT, LabelImg) requiere típicamente experiencia en TI, lo que crea una brecha entre los expertos en el dominio (personal de inspección) y el flujo de trabajo de aprendizaje automático (machine learning).
Resistencia al Cambio: Los procesos de inspección establecidos son difíciles de modificar debido a restricciones financieras y la necesidad de aprobación de la gerencia, especialmente cuando los nuevos flujos de trabajo no son intuitivos.

Metodología
El artículo propone un novedoso Sistema de Anotación Física diseñado para generar datos de entrenamiento in-situ mediante la interacción directa y basada en punteros con objetos físicos. La arquitectura y el flujo de trabajo del sistema se definen de la siguiente manera:

Configuración de Hardware: El sistema consta de una cámara industrial de 5 MP, un sistema de seguimiento de movimiento con un puntero rastreable y un proyector para retroalimentación visual. Todos los componentes están montados en una estructura rígida a 90 cm por encima del espacio de trabajo.
Calibración y Transformación:
- Calibración del Pivote: Determina la posición fija de la punta del puntero con respecto al marco de referencia dinámico (DRF) del dispositivo mediante la resolución de un sistema de ecuaciones lineales basado en múltiples poses.
- Calibración del Sistema: Utiliza un patrón de círculos asimétricos con una muesca central de 0.5 mm. La punta del puntero se coloca en estas muescas para recolectar puntos de referencia 3D, mientras la cámara captura imágenes 2D. Un algoritmo de Perspectiva-n-Punto (PnP) resuelve la transformación de cámara a mundo ($CTW$) y de puntero a mundo ($WTP$).
- Calibración del Proyector: Utiliza un modelo de pinhole extendido y un método de Moreno et al. que involucra un tablero de ajedrez y patrones de gris proyectados para establecer la transformación de proyector a cámara ($BTC$).
- Formulación Matemática: El sistema mapea la posición 3D de la punta del puntero ( $p^P_{tip}$ ) a coordenadas de píxeles 2D ( $u_C, v_C$ ) en la imagen de la cámara y ( $u_B, v_B$ ) en el plano del proyector utilizando una cadena de transformaciones homogéneas y matrices intrínsecas ( $K_C, K_B$ ).
Proceso de Anotación:
- Interacción In-Situ: Los inspectores utilizan el puntero rastreable para dibujar trayectorias (líneas, polígonos, cajas delimitadoras) directamente sobre la superficie del objeto. Se proyecta guía visual sobre el objeto para asegurar la precisión.
- Generación de Datos en Multietapa: Para evitar la oclusión (donde el puntero bloquea la vista del defecto durante la grabación), el sistema separa la anotación de la captura de datos.
  1. Captura de Trayectoria: El puntero traza el defecto sobre un objeto estacionario.
  2. Extracción de Datos: El objeto se mueve dentro del campo de visión de la cámara. Un algoritmo de seguimiento de puntos basado en flujo óptico "pega" la trayectoria registrada a la superficie del objeto a través de múltiples fotogramas de la cámara donde el puntero no es visible.
- Salida: El sistema exporta formatos de anotación estandarizados (por ejemplo, coordenadas YOLO, XML, JSON) y se integra directamente con la API de CVAT para edición y consistencia.

Contribuciones Clave

Interacción In-Situ Basada en Puntero: Un enfoque novedoso que permite a expertos no especializados en TI generar datos de entrenamiento señalando objetos, eliminando la necesidad de herramientas de anotación basadas en pantalla.
Integración del Flujo de Trabajo: El sistema incorpora el proceso de anotación directamente en los flujos de trabajo de inspección existentes, reduciendo el tiempo y el esfuerzo requeridos para digitalizar el conocimiento experto.
Aumento de Datos vía Flujo Óptico: Un método para generar múltiples muestras de entrenamiento a partir de un solo evento de anotación mediante el seguimiento del movimiento del objeto y la proyección de la trayectoria de anotación sobre imágenes tomadas desde varios ángulos.
Arquitectura del Sistema: Un stack de hardware y software totalmente calibrado que convierte interacciones espaciales 3D en anotaciones de imagen 2D compatibles con pipelines de ML de código abierto.

Resultados
El artículo presenta resultados de evaluación preliminares centrados en la viabilidad del concepto más que en un benchmark de rendimiento exhaustivo:

Precisión de la Trayectoria: En experimentos preliminares que involucraron a tres individuos trazando diversas formas (líneas, hexágonos, rectángulos, curvas sinusoidales y formas irregulares) sobre una superficie plana a lo largo de 90 repeticiones:
- La desviación media para formas regulares fue de 0.72 mm.
- La desviación media para formas irregulares fue de 1.62 mm.
Validación del Flujo de Trabajo: El sistema demostró con éxito la capacidad de capturar trayectorias de anotación detalladas e integrarlas con CVAT, confirmando la viabilidad del flujo de trabajo de generación de datos propuesto.

Significancia y Reivindicaciones
Los autores posicionan este trabajo como un puente conceptual entre la experiencia humana y la generación automatizada de datos. La significancia principal radica en:

Democratización de la Generación de Datos: Permite que los expertos en el dominio (inspectores) contribuyan directamente al entrenamiento de ML sin requerir habilidades de TI.
Mejora de la Transparencia: Hace que el proceso de generación de datos sea más transparente e integrado, aumentando potencialmente la aceptación de la IA en los procesos industriales.
Eficiencia: Evita que se pasen por alto muestras de entrenamiento valiosas al capturar los datos en el momento de la inspección.

El artículo establece explícitamente que el enfoque es la descripción conceptual y la implementación técnica. Reconoce que se requiere más investigación para validar la precisión del seguimiento, la eficiencia de la anotación y la usabilidad general del sistema en despliegues prácticos a gran escala. Los autores no afirman que el sistema sea actualmente un producto comercial terminado, sino más bien una prueba de concepto que aborda el cuello de botella crítico de la disponibilidad de datos de entrenamiento en la IA industrial.

1. El enfoque de la "Varita Mágica"

2. El "Guía Fantasmal" (Retroalimentación Visual)

3. El "Baile de Dos Pasos" (Resolviendo el Problema de Bloqueo)

4. El "Traductor" (Calibración)

5. El Resultado

Más como este