Resumen Técnico: Wake Vision

Declaración del Problema

El Aprendizaje Automático para Dispositivos de Recursos Limitados (TinyML) implica desplegar modelos en microcontroladores (MCUs) con restricciones severas de memoria (cientos de kilobytes), lo que requiere modelos pequeños y tareas binarias o de bajo número de clases a medida. Sin embargo, las prácticas generales de conjuntos de datos son inadecuadas para este dominio. Los modelos pequeños son desproporcionadamente sensibles al ruido en las etiquetas, y las tareas a menudo carecen de puntos de referencia estándar.

El estándar anterior para la detección de personas en TinyML, el conjunto de datos Visual Wake Words (VWW), contiene aproximadamente 123,000 imágenes con una tasa de error de etiquetas estimada del 7.8%. Esta escala y calidad son insuficientes para entrenar sistemas TinyML de nivel de producción. Por el contrario, el etiquetado manual de conjuntos de datos a la escala requerida para el entrenamiento moderno (millones de imágenes) es prohibitivamente costoso e introduce inconsistencias. Por ejemplo, se estima que reetiquetar manualmente un conjunto de 6 millones de imágenes costaría aproximadamente 600,000 USD.

Metodología: El Pipeline Wake Vision

Para abordar estas brechas, los autores proponen el pipeline Wake Vision, un método automatizado para generar y curar conjuntos de datos de clasificación binaria a gran escala específicamente para TinyML. El pipeline está diseñado para ser centrado en los datos, abarcando todo el ciclo de vida del conjunto de datos, desde su construcción hasta su mejora continua. Se basa en el conjunto de datos Open Images v7, que ofrece 9.6 mil clases entrenables, lo que permite adaptar el pipeline para cualquier tarea de clasificación binaria, no solo para la detección de personas.

El pipeline ejecuta seis operaciones centrales centradas en los datos:

1. Fusión de Etiquetas de Múltiples Fuentes: Reconcilia las anotaciones a nivel de imagen y de caja delimitadora de Open Images en una única tarea binaria. Aprovecha la mayor precisión de las etiquetas de caja delimitadora mientras utiliza la escala de las etiquetas a nivel de imagen.
2. Filtrado Consciente del Contexto: Aplica filtrado basado en puntuaciones de confianza, el área del objeto en la imagen (proxy de la distancia) y el estado de representación (excluyendo por defecto las representaciones artísticas de personas). Esto asegura que el conjunto de datos coincida con las condiciones de despliegue donde los objetos distantes o representados pueden no ser relevantes.
3. Corrección Automatizada de Etiquetas: Emplea técnicas de Aprendizaje Confidente (Confident Learning) en divisiones de evaluación para identificar errores potenciales como un primer paso de bajo costo.
4. Reetiquetado Manual de Conjuntos de Evaluación: Para garantizar una evaluación precisa del rendimiento, los conjuntos de validación y prueba sufren un reetiquetado manual mediante una plataforma de crowdsourcing (Scale AI). Esto prioriza la calidad de las etiquetas donde más impacta en las métricas reportadas.
5. Síntesis de Puntos de Referencia de Alta Granularidad: Utilizando metadatos de los pasos de filtrado, el pipeline genera subconjuntos de evaluación a través de cinco dimensiones: género percibido, edad percibida, distancia, iluminación y representaciones.
6. Mejora Impulsada por la Comunidad: El pipeline soporta un modelo de "rueda de inercia" (flywheel) donde las competiciones de la comunidad identifican e integran mejoras (por ejemplo, técnicas de corrección de etiquetas) en las versiones posteriores del conjunto de datos.

Contribuciones Clave

1. El Conjunto de Datos Wake Vision

Los autores lanzan Wake Vision, un conjunto de datos de detección binaria de personas que contiene casi 6 millones de imágenes (aproximadamente 100 veces más imágenes de personas que VWW).

• Escala: 5.76M imágenes en el conjunto de entrenamiento "Large" y 1.25M en el conjunto de entrenamiento "Quality".
• Calidad: Los conjuntos de validación y prueba fueron reetiquetados manualmente, logrando una tasa de error de etiquetas del 2.2%, una mejora significativa sobre el 7.8% de VWW.
• Licenciamiento: Publicado bajo CC-BY 4.0 a través de TensorFlow Datasets y Hugging Face.

2. Un Suite de Puntos de Referencia de Alta Granularidad

Más allá de la precisión agregada, Wake Vision proporciona cinco subconjuntos de puntos de referencia de alta granularidad para evaluar la robustez del modelo en escenarios del mundo real desafiantes:

• Género y Edad Percibidos: Evalúa el rendimiento en grupos demográficos subrepresentados.
• Distancia: Categoriza a los sujetos por cobertura de imagen (Cerca >60%, Medio 10-60%, Lejos <10%).
• Iluminación: Categoriza por valor promedio de píxel (Oscura, Normal, Brillante).
• Representaciones: Prueba la capacidad del modelo para rechazar imágenes que contienen representaciones de personas (por ejemplo, pinturas) frente a personas reales.

3. Generalización a Otras Tareas

El pipeline se demuestra en la detección de Automóviles y Pájaros.

• Detección de Automóviles: Produjo un conjunto de datos 12 veces más grande que una línea base estilo VWW, reduciendo el error de etiquetas del 6.4% al 4.8%.
• Detección de Pájaros: Produjo un conjunto de datos 27 veces más grande que una línea base estilo VWW, reduciendo el error de etiquetas del 6.6% al 0.6%.

4. Ciclo de Mejora Comunitaria

Los autores se asociaron con la Edge AI Foundation para albergar el Wake Vision Challenge. La primera ronda produjo una técnica de corrección de etiquetas que redujo la tasa de error de etiquetas del conjunto de entrenamiento Wake Vision (Large) del 15.2% al 9.8% a una fracción del costo del reetiquetado manual.

Resultados

Mejoras de Rendimiento

Los modelos entrenados con Wake Vision superan consistentemente a los entrenados con VWW en diversas arquitecturas (MobileNetV2, MCUNet, MicroNets, ColabNAS):

• Precisión: Los modelos entrenados con Wake Vision mejoraron la precisión de prueba hasta en un 6.6% sobre los modelos entrenados con VWW.
• Robustez de Alta Granularidad: Los modelos entrenados con Wake Vision igualaron o superaron a los modelos entrenados con VWW en 13 de 16 subconjuntos de alta granularidad. Las mayores ganancias se observaron en la detección de personas representadas, individuos mayores y en condiciones de iluminación oscura.
• Generalización Fuera de Distribución (OOD): Los modelos entrenados con Wake Vision mantuvieron su ventaja de precisión sobre los modelos entrenados con VWW al ser evaluados en conjuntos de datos OOD que cubren perspectivas de conducción e imágenes de vigilancia aérea.

Perspectivas Centradas en los Datos

El artículo presenta dos hallazgos específicos sobre TinyML centrado en los datos:

1. Sensibilidad al Ruido de Etiquetas: Los modelos pequeños son desproporcionadamente sensibles al ruido de etiquetas en el conjunto de entrenamiento. Cuando la tasa de error de entrenamiento aumentó del 6.8% al 15%, el modelo más pequeño perdió 1.3% de precisión, mientras que el modelo más grande perdió solo 0.5%.
2. Estrategia de Entrenamiento en Dos Etapas: Una estrategia de preentrenamiento en el conjunto más grande y ruidoso (Wake Vision Large) y ajuste fino en el conjunto más pequeño y limpio (Wake Vision Quality) logró los mejores resultados (85.72% de precisión), superando el entrenamiento en cualquiera de los conjuntos por separado.

Significado y Afirmaciones

El artículo afirma que Wake Vision aborda la brecha metodológica en TinyML al proporcionar un pipeline automatizado para generar conjuntos de datos de nivel de producción. Su importancia radica en:

• Escalabilidad: Permitir la creación de conjuntos de datos a medida para las 9.6 mil clases de Open Images sin los costos prohibitivos del etiquetado manual.
• Calidad: Demostrar que el reetiquetado manual de conjuntos de evaluación combinado con la limpieza automatizada produce conjuntos de datos adecuados para entrenar sistemas de producción, no solo puntos de referencia de investigación.
• Evaluación: Desplazar el enfoque de la precisión agregada a la robustez de alta granularidad, revelando modos de fallo (por ejemplo, en poca luz o para demografías específicas) que las métricas estándar ocultan.
• Sostenibilidad: Establecer un modelo para la mejora continua de conjuntos de datos mediante la participación de la comunidad, tratando el conjunto de datos como un artefacto mantenido en lugar de un lanzamiento estático.

Los autores posicionan a Wake Vision no meramente como un conjunto de datos, sino como un kit de herramientas para el paradigma de "TinyML centrado en los datos", argumentando que para los modelos pequeños, los retornos de la calidad de las etiquetas dominan los retornos de la escala antes que en el entrenamiento de modelos grandes, lo que hace necesarias pipelines de curación rigurosos.