A Two-Stage Detection-Tracking Framework for Stable Apple Quality Inspection in Dense Conveyor-Belt Environments

Este trabajo presenta un marco de dos etapas que combina detección, seguimiento y clasificación para lograr una inspección de calidad de manzanas estable y temporalmente consistente en entornos industriales de cintas transportadoras densas.

Lo esencial

Imagina una cinta transportadora en una fábrica de manzanas. Las manzanas pasan muy rápido, se amontonan, a veces se tocan entre sí y la luz cambia constantemente. El objetivo es que una computadora revise cada manzana y diga: "Esta está perfecta" o "Esta tiene un golpe y no sirve".

El problema es que, si la computadora mira solo una foto rápida (un fotograma), puede confundirse. Una manzana podría parecer perfecta en un instante y tener un golpe en el siguiente, solo porque se movió o la sombra cambió. Esto hace que la clasificación sea inestable y poco fiable.

Este paper presenta una solución inteligente que funciona como un sistema de "vigilancia y memoria" para las manzanas. Aquí te explico cómo funciona con analogías sencillas:

1. El Sistema de Detección (Los Ojos)

Primero, el sistema usa un "ojo" muy rápido llamado YOLOv8.

• La analogía: Imagina a un guardia de seguridad en el aeropuerto que es experto en reconocer caras. Este guardia ha sido entrenado viendo manzanas en un huerto (con sol y árboles de fondo). Ahora, lo ponen a trabajar en la cinta transportadora de la fábrica. Aunque el entorno es diferente (más industrial), el guardia sigue reconociendo a las manzanas rápidamente y les pone un cuadro alrededor para decir: "¡Aquí hay una manzana!".

2. El Sistema de Seguimiento (La Memoria)

Aquí es donde entra la magia. En lugar de mirar cada foto por separado, el sistema usa un rastreador llamado ByteTrack.

• La analogía: Imagina que el guardia no solo ve a las personas, sino que les pone un número de identificación único en la frente y las sigue mientras caminan.
  • Si la manzana A pasa por la cámara, el sistema le dice: "Eres la Manzana #101".
  • Un segundo después, la Manzana #101 pasa de nuevo. El sistema no piensa "¡Oh, otra manzana nueva!"; piensa: "¡Ah, es la Manzana #101 otra vez!".
  • Esto evita que el sistema se confunda cuando las manzanas se tocan o se cruzan. Les mantiene su identidad a lo largo del tiempo.

3. El Experto en Calidad (El Diagnóstico)

Una vez que el sistema sabe qué manzana es, la recorta de la imagen y se la pasa a un "médico" llamado ResNet18.

• La analogía: Este médico es un experto que ha estudiado miles de fotos de manzanas sanas y manzanas con golpes o podredumbre. Le da un diagnóstico rápido: "Esta tiene un golpe" o "Esta está bien".
• El problema: Si el médico solo mira una foto rápida, puede equivocarse si la manzana está borrosa por el movimiento o si hay una sombra extraña.

4. La Agregación de Rastros (La Decisión Final)

Esta es la parte más importante del paper. En lugar de confiar en la opinión de una sola foto, el sistema reúne todas las opiniones que el médico dio sobre la misma manzana mientras esta pasó por la cinta.

• La analogía: Imagina que la Manzana #101 pasa frente al médico 10 veces.
  • En la foto 1, el médico dice: "Está bien".
  • En la foto 2, dice: "Tiene un golpe" (porque había una sombra).
  • En la foto 3, dice: "Está bien".
  • En la foto 4, dice: "Está bien".
  • ...y así sucesivamente.
  • En lugar de tirar la manzana por un solo "Tiene un golpe", el sistema hace una votación mayoritaria. Si 8 de las 10 veces dijo "Está bien", la decisión final es que la manzana es buena.

¿Por qué es esto importante?

En la industria, la estabilidad es clave. Si una máquina decide "sí" y luego "no" y luego "sí" para la misma manzana en fracciones de segundo, la línea de producción se detiene o se desperdian productos.

Este sistema logra:

1. No perder a nadie: Sigue a cada manzana individualmente aunque haya cientos en la cinta.
2. Tomar decisiones firmes: No se deja engañar por un parpadeo de luz o un movimiento brusco.
3. Medir la realidad: En lugar de contar cuántas fotos son buenas, cuenta cuántas manzanas reales (trayectorias) son buenas, lo cual es mucho más útil para una fábrica.

En resumen: Es como pasar de tener un guardia que grita "¡Manzana!" cada vez que ve una foto, a tener un equipo organizado que sigue a cada fruta, le toma el pulso varias veces y decide su destino basándose en un consenso, asegurando que la calidad sea justa y constante.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Resumen Técnico: Marco de Detección y Seguimiento en Dos Etapas para la Inspección de Calidad de Manzanas

1. Planteamiento del Problema

Los sistemas industriales de inspección de frutas deben operar de manera fiable en entornos de cintas transportadoras densas, donde los objetos interactúan continuamente y se mueven. Sin embargo, la mayoría de los trabajos existentes se centran en la detección o clasificación a nivel de imagen estática, ignorando la consistencia temporal en los flujos de video.

• Limitaciones actuales: La clasificación cuadro a cuadro (frame-wise) genera predicciones fluctuantes debido a desenfoque por movimiento, oclusiones parciales y variaciones de iluminación. Esto resulta en resultados de clasificación inestables y poco fiables para la industria.
• Brecha de implementación: Existe una desconexión entre los modelos entrenados en entornos de huertos (con luz natural y fondos complejos) y su despliegue en cintas transportadoras industriales, donde las condiciones de dominio cambian drásticamente.

2. Metodología

El artículo propone un marco unificado de detección-seguimiento-clasificación en dos etapas diseñado para la inspección estable de manzanas en cintas transportadoras:

• Etapa 1: Detección de Manzanas (YOLOv8):

  • Se utiliza un modelo YOLOv8 preentrenado en un conjunto de datos de huertos (entorno natural).
  • Este detector localiza las manzanas en cada cuadro del video industrial sin un ajuste fino adicional, evaluando así la robustez ante el cambio de dominio (de huerto a cinta industrial).
  • Genera un conjunto de cajas delimitadoras para cada cuadro $t$.

• Etapa 2: Seguimiento de Objetos Múltiples (ByteTrack):

  • Se aplica el algoritmo ByteTrack para asociar las detecciones entre cuadros consecutivos.
  • El objetivo es asignar identidades persistentes (Track IDs) a cada manzana, evitando el cambio de identidad (identity switching) en entornos densos y permitiendo el razonamiento a nivel de objeto a lo largo del tiempo.

• Etapa 3: Clasificación de Defectos (ResNet18):

  • Para cada región de manzana recortada (bounding box), se utiliza un clasificador basado en ResNet18.
  • El modelo se inicializa con pesos de ImageNet y se ajusta fino (fine-tuning) en un conjunto de datos de frutas "Sanas vs. Defectuosas" (incluyendo magulladuras, pudrición y sarna).
  • La salida es una predicción de clase de defecto para cada cuadro individual.

• Estabilización Temporal (Agregación a Nivel de Rastreo):

  • Para mitigar la oscilación de predicciones entre cuadros, se implementa una agregación a nivel de pista (track-level aggregation).
  • Se recopilan todas las predicciones de un mismo objeto a lo largo de su trayectoria y se aplica una votación mayoritaria para determinar la etiqueta final de calidad del objeto. Esto suaviza las decisiones y reduce el ruido.

3. Contribuciones Clave

1. Marco de Dos Etapas: Propuesta de un pipeline que integra detección, seguimiento y clasificación específicamente para entornos industriales densos, superando el enfoque puramente basado en imágenes.
2. Integración de Seguimiento: Uso de ByteTrack para mantener identidades persistentes, lo cual es crucial para la estabilidad en cintas transportadoras con alta densidad de objetos.
3. Agregación Temporal: Introducción de la votación mayoritaria a nivel de pista para estabilizar las decisiones de defectos, resolviendo el problema de la inconsistencia de predicciones cuadro a cuadro.
4. Métricas de Evaluación Industrial: Definición de nuevas métricas a nivel de video, más allá de la precisión de imagen tradicional:
   • Ratio de Defectos a Nivel de Pista: Proporción de rastros con defectos sobre el total.
   • Estabilidad Temporal: Medida de la consistencia de las etiquetas a lo largo de la duración de la pista (reducción de cambios de etiqueta).
5. Estudio de Robustez: Evaluación de un detector entrenado en huertos directamente en videos industriales, abordando el problema del desplazamiento de dominio (domain shift).

4. Resultados Esperados y Análisis

Aunque el estudio se presenta como una investigación de viabilidad preliminar, los resultados teóricos y experimentales indican:

• Estabilidad Mejorada: La integración del seguimiento y la agregación reduce significativamente la oscilación de predicciones en comparación con la inferencia cuadro a cuadro.
• Consistencia de Objetos: El sistema logra decisiones de defecto más estables a nivel de objeto individual, incluso en presencia de desenfoque por movimiento y oclusiones parciales.
• Robustez de Detección: El detector YOLOv8 entrenado en huertos mantiene un alto nivel de precisión en el entorno industrial, aunque con una degradación menor esperada debido al cambio de dominio.
• Validación de Métricas: Las nuevas métricas de video demuestran ser más representativas para evaluar la calidad del sistema en condiciones reales de procesamiento que las métricas estáticas tradicionales.

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre la investigación académica basada en imágenes y el despliegue industrial real.

• Viabilidad Industrial: Demuestra que la inspección de calidad de frutas no puede ser solo un problema de visión por computadora estática; requiere modelado temporal para ser práctica en líneas de producción.
• Eficiencia Operativa: Al estabilizar las decisiones, se reduce la necesidad de intervención humana para corregir errores de clasificación causados por fluctuaciones momentáneas.
• Futuro: Establece una base para futuras investigaciones en generalización de dominio, integración de múltiples cámaras y validación a gran escala en entornos industriales reales.

En conclusión, el artículo establece que la inspección de calidad consciente del seguimiento (tracking-aware) es esencial para los sistemas de clasificación de frutas automatizados, proporcionando un marco robusto para la evaluación de calidad en entornos dinámicos y densos.