A Boundary-Metric Evaluation Protocol for Whiteboard Stroke Segmentation Under Extreme Imbalance

Este trabajo propone un protocolo de evaluación integral que combina métricas de región, límites y equidad entre subconjuntos para demostrar que, en la segmentación de trazos de pizarra bajo desequilibrio extremo, los modelos de aprendizaje profundo optimizados con funciones de pérdida basadas en superposición y mayor resolución superan a los métodos clásicos en consistencia y rendimiento en casos extremos, a pesar de que estos últimos logren un F1 medio ligeramente superior.

Lo esencial

Imagina que tienes una pizarra blanca llena de notas escritas con rotuladores de colores. Tu objetivo es tomarle una foto y que una computadora "lea" solo las letras y los dibujos, ignorando todo el espacio blanco de fondo.

El problema es que las letras son muy finas y ocupan muy poco espacio en la foto (menos del 2%). El resto es solo blanco.

Este paper es como un manual de instrucciones para enseñarle a una computadora a hacer esto sin volverse loca, y descubre que los métodos tradicionales fallan estrepitosamente. Aquí te explico los hallazgos clave con analogías sencillas:

1. El Problema: La Búsqueda de la Aguja en el Pajero

Imagina que tienes un montón enorme de paja (el fondo blanco) y solo unas pocas agujas (las letras finas).

• El error común: Si le dices a la computadora "sé correcta en la mayoría de los casos", ella se vuelve perezosa. Piensa: "¡Eh! Si simplemente pinto todo de blanco, acertaré el 98% de los píxeles. ¡Gané!".
• La consecuencia: La computadora ignora las letras finas porque son tan pocas que no le importan al algoritmo tradicional. Es como si un buscador de tesoros decidiera no buscar el oro porque es muy pequeño comparado con la arena.

2. La Solución: Cambiar las Reglas del Juego (Las "Pérdidas")

Los autores probaron diferentes "recetas" matemáticas (llamadas funciones de pérdida) para entrenar al cerebro de la computadora.

• La receta vieja (Cross-Entropy): Es como un profesor que solo felicita si aciertas el 98% de las respuestas. La computadora aprende a ignorar las letras finas.
• Las nuevas recetas (Dice, Tversky): Son como un profesor que dice: "No me importa si aciertas el fondo; si fallas una sola letra, te castigo mucho".
• El resultado: Al usar estas nuevas recetas, la capacidad de la computadora para ver las letras finas mejoró un 20%. ¡Es un salto gigante! Pasó de ser un principiante a un experto.

3. La Medición: No basta con contar, hay que mirar los bordes

Antes, para ver si funcionaba bien, solo contaban cuántos píxeles de letras acertaron (como contar cuántas manzanas hay en una caja).

• El problema: Podías tener muchas manzanas, pero si estaban todas aplastadas o deformadas, no servirían.
• La nueva métrica: Los autores añadieron una regla que solo mira los bordes de las letras. Es como si, en lugar de contar las manzanas, un inspector revisara si la cáscara está intacta y bien definida. Descubrieron que las nuevas recetas no solo encontraban más letras, sino que las dibujaban con líneas mucho más limpias y precisas.

4. La Batalla: El "Héroe Consistente" vs. El "Genio Inestable"

Compararon a la computadora (Inteligencia Artificial) con un método clásico y simple (como usar un filtro de fotos automático).

• El Método Clásico (Sauvola): Es como un genio con mal genio. En días soleados (buena luz), hace un trabajo increíble, mejor que la computadora. Pero si hay una sombra o la luz es mala, se desmorona y falla estrepitosamente.
• La Computadora (IA): Es como un trabajador constante. No es el más rápido ni el más brillante en el mejor día, pero nunca falla catastróficamente. Incluso en las peores condiciones (pizarra sucia, luz mala), siempre entrega un resultado decente.
• La lección: Si quieres digitalizar pizarras en una oficina real donde la luz cambia, es mejor tener al trabajador constante que al genio inestable.

5. El Secreto Final: ¡Más Zoom!

Descubrieron que si hacían la foto más grande (más resolución) antes de enseñársela a la computadora, las letras finas se volvían más gruesas y fáciles de ver.

• Analogía: Es como intentar leer un texto microscópico. Si lo acercas mucho (aumentas la resolución), de repente las letras se vuelven claras y la computadora las lee perfecto. Duplicar el tamaño de la imagen mejoró los resultados casi un 13%.

En Resumen

Este paper nos dice que para digitalizar pizarras con letras finas:

1. No uses las herramientas viejas; usa las nuevas recetas matemáticas (Dice/Tversky) que obligan a la IA a cuidar los detalles.
2. No mires solo el promedio; asegúrate de que funcione bien incluso en los peores casos (consistencia).
3. Usa imágenes de alta calidad (más resolución) para que las letras finas no se pierdan.

Es como pasar de intentar adivinar dónde están las agujas en la paja a usar un imán especial que las atrae sin importar cuán pequeñas sean.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "A Boundary-Metric Evaluation Protocol for Whiteboard Stroke Segmentation Under Extreme Imbalance" (Un protocolo de evaluación basado en métricas de contorno para la segmentación de trazos de pizarra bajo desequilibrio extremo), escrito por Nicholas Korcynski.

---

1. El Problema: Segmentación de Trazos en Pizarras con Desequilibrio Extremo

El objetivo es la digitalización de pizarras blancas, un paso crucial en entornos de aprendizaje híbrido y trabajo colaborativo. La tarea consiste en extraer máscaras limpias de los trazos de tinta (primer plano) de una fotografía de la pizarra (fondo).

Desafíos principales:

• Desequilibrio de clases extremo: Los píxeles de los trazos representan en promedio solo el 1.79% del área de la imagen (rango 0.52% - 4.94%). En un subconjunto de trazos particularmente finos, esta cifra baja al 1.14%.
• Fallo de clasificadores triviales: Un clasificador que predice "fondo" para todos los píxeles lograría una precisión del >98%, haciendo que la pérdida de entropía cruzada estándar (Cross-Entropy) sea una señal de entrenamiento poco fiable.
• Fragilidad en estructuras finas: Las pérdidas estándar y el muestreo (downsampling) durante el entrenamiento erosionan los detalles finos. Los modelos tienden a subestimar los trazos delgados, logrando alta precisión de píxeles pero fallando en el contenido que realmente importa al usuario.
• Limitaciones de las métricas tradicionales: Métricas basadas en regiones como F1 e IoU pueden enmascarar fallos en la calidad del contorno. Una predicción puede tener una superposición moderada con la verdad fundamental pero contornos irregulares o dilatados, lo cual es crítico para trazos finos.

2. Metodología

El estudio propone un protocolo de evaluación riguroso y reproducible que va más allá de las métricas agregadas tradicionales.

A. Arquitectura y Datos

• Modelo: DeepLabV3 con backbone MobileNetV3-Large (~11M parámetros). Se eligió una arquitectura ligera para aislar el efecto de la función de pérdida y simular un despliegue en tiempo real en hardware de consumo.
• Dataset: 34 imágenes reales de pizarras (resoluciones nativas altas: ~3700x2700).
  • División: 7 imágenes "núcleo" (trazos más gruesos, ~2.41% de cobertura) y 5 imágenes "finas" (trazos muy delgados, ~1.14% de cobertura, ancho medio ~11px).
  • Aumento de datos: Se aplicaron aumentos offline y online (brillo, contraste, glare, sombras) para simular condiciones variables.

B. Funciones de Pérdida Comparadas

Se entrenaron 5 funciones de pérdida (cada una con 3 semillas aleatorias):

1. Cross-Entropy (CE): Estándar, sin ponderación de clases.
2. Focal Loss: Reduce el peso de los ejemplos fáciles.
3. Dice Loss: Optimiza directamente el coeficiente de Dice.
4. Dice + Focal: Combinación ponderada.
5. Tversky Loss: Generalización de Dice con pesos separados para falsos positivos y negativos (sesgada hacia el recall).

C. Protocolo de Evaluación Propuesto

El núcleo de la contribución es el protocolo de evaluación que incluye:

1. Métricas de Región: F1 e IoU.
2. Métricas de Contorno (Boundary-Aware):
   • BF1 (Boundary F1): Calcula precisión y recall solo en una banda morfológica alrededor del contorno.
   • B-IoU (Boundary IoU): Restringe el cálculo de IoU a una banda del 2% de la diagonal de la imagen.
3. Análisis de Equidad Núcleo vs. Fino: Comparación del rendimiento en trazos gruesos vs. finos para detectar sesgos.
4. Estadísticas de Robustez: Mediana, Rango Intercuartílico (IQR) y peor caso (mínimo) por imagen, en lugar de solo promedios.
5. Significancia Estadística: Uso de la prueba de rangos con signo de Wilcoxon con corrección de Bonferroni sobre las puntuaciones por imagen.

D. Líneas Base Clásicas

Se compararon contra métodos de umbralización clásicos (Adaptativo, Otsu y Sauvola) evaluados en resolución nativa sin rediseño.

3. Contribuciones Clave

1. Protocolo de Evaluación Integral: Un marco que combina métricas de región, contorno y análisis de equidad para revelar brechas de rendimiento invisibles para las métricas tradicionales.
2. Análisis de Robustez y Equidad: Demostración de que las funciones de pérdida difieren significativamente en cómo tratan los trazos finos, introduciendo una medida de "equidad" entre subconjuntos de datos.
3. Análisis de Compensación (Trade-off) Consistencia-Accuración: Comparación entre modelos aprendidos y baselines clásicos, revelando que los clásicos tienen mayor precisión media pero peor consistencia en casos difíciles.
4. Pipeline Reproducible: Código y scripts públicos con entrenamiento multi-semilla y pruebas de significancia no paramétricas.

4. Resultados Principales

A. Impacto de la Función de Pérdida

• Las pérdidas basadas en superposición (Dice, Tversky, Dice+Focal) superaron abrumadoramente a las basadas en distribución (CE, Focal).
• Mejora en F1: Tversky logró un F1 de 0.663 frente a 0.438 de Cross-Entropy (una mejora de >20 puntos porcentuales, $p < 0.001$).
• Equidad en Trazos Finos: La brecha de rendimiento entre trazos "núcleo" y "finos" se redujo a la mitad con las pérdidas Dice (gap ~0.06) en comparación con CE/Focal (gap ~0.10). Tversky mostró el mejor equilibrio.

B. Métricas de Contorno

• Las métricas BF1 y B-IoU revelaron diferencias sutiles entre las variantes de Dice. Por ejemplo, Dice+Focal obtuvo el mejor BF1 (0.676), indicando contornos más nítidos, mientras que Tversky lideró en F1 general. Sin métricas de contorno, estas distinciones serían invisibles.

C. Resolución

• Duplicar la resolución de entrada (de 1024x768 a 1536x1152) aumentó el F1 en 12.7 puntos y el BF1 en 18.5 puntos, confirmando que la resolución es un cuello de botella crítico para trazos que ocupan pocos píxeles.

D. Modelo Aprendido vs. Baselines Clásicos (Sauvola)

• Promedio vs. Peor Caso: El método clásico Sauvola obtuvo el F1 medio más alto (0.787), superando a todos los modelos profundos. Sin embargo, su peor caso fue de 0.452.
• Robustez: El modelo profundo con Tversky tuvo un F1 medio menor (~0.66) pero un peor caso de 0.565 y un IQR mucho más estrecho (0.066 vs 0.081 de Sauvola).
• Conclusión: Los métodos clásicos son mejores en imágenes de alto contraste, pero fallan catastróficamente en condiciones de bajo contraste o sombras. Los modelos aprendidos ofrecen una fiabilidad consistente en todos los escenarios, lo cual es vital para aplicaciones en tiempo real.

5. Significado e Implicaciones

• Selección de Pérdida: Para segmentación con desequilibrio extremo (<5% de primer plano), las pérdidas basadas en superposición (Dice/Tversky) son esenciales; la entropía cruzada es inadecuada.
• Importancia de las Métricas de Contorno: Para tareas de estructuras finas, las métricas de región (F1/IoU) son insuficientes. Las métricas de contorno (BF1/B-IoU) son necesarias para evaluar la fidelidad real del trazo.
• Compensación Consistencia-Accuración: En aplicaciones de digitalización en tiempo real donde la revisión manual no es práctica, la consistencia (baja varianza, buen peor caso) es más valiosa que el pico de precisión promedio.
• Resolución: Aumentar la resolución de entrada es tan crítico como la elección de la función de pérdida para recuperar detalles finos.

En resumen, el artículo establece que para la segmentación de pizarras bajo desequilibrio extremo, la combinación de pérdidas basadas en superposición (Tversky/Dice), evaluación con métricas de contorno y entrenamiento a alta resolución es superior a los enfoques tradicionales, ofreciendo una solución más robusta y equitativa para trazos finos, a pesar de tener un promedio de precisión ligeramente inferior a los métodos clásicos en condiciones ideales.