Resumen Técnico: Más allá de las métricas agregadas: Diagnóstico del fallo de cola larga en la detección y reconocimiento de caracteres de huesos oraculares

1. Planteamiento del problema

El artículo aborda el desafío de la detección y el reconocimiento automáticos de caracteres de huesos oraculares (OBI, por sus siglas en inglés) en imágenes de frotes, una tarea crítica de entrada para la investigación paleográfica asistida por IA. Mientras que trabajos anteriores establecieron parámetros de referencia para la localización de caracteres (encontrar dónde está un carácter), la reciente publicación del Conjunto de Datos Multimodales de Inscripciones de Huesos Oraculares (OBIMD) permite la primera evaluación a gran escala de la detección y reconocimiento de imágenes completas (identificar el glifo específico).

El problema central identificado es una distribución de clases de cola larga extrema. El OBIMD contiene más de 1,700 categorías de glifos, pero los datos de entrenamiento están fuertemente sesgados:

• Clases de cabeza (Head classes): ~133 categorías con >100 instancias.
• Clases de pocos disparos (Few-shot classes): ~1,022 categorías con solo 1–5 instancias.
• Clases no vistas (Unseen classes): 69 categorías con cero instancias de entrenamiento.

Los autores argumentan que las métricas de evaluación agregadas estándar (por ejemplo, mAP global) ocultan fallos severos en estas clases raras. Un modelo base YOLO multiclase directo logra un AP50 general respetable de 0.63, sin embargo, su rendimiento en las clases de pocos disparos colapsa a un AP50 de solo 0.06. El artículo postula que el cuello de botella no es la localización (que es robusta), sino el acoplamiento de la localización con el reconocimiento de cola larga dentro de un único cabezal de detección.

2. Metodología

Marco de diagnóstico

Los autores proponen un protocolo de evaluación estratificado consciente de la frecuencia que particiona el rendimiento en grupos de Cabeza, Medio, Cola larga, Pocos disparos (Few-shot) y No vistos. Este protocolo revela que las métricas agregadas enmascaran el "colapso de las clases raras".

Solución propuesta: FAR-YOLO

Para abordar el problema del acoplamiento, los autores introducen FAR-YOLO (YOLO de Reconocimiento Consciente de la Frecuencia), un modelo base desacoplado mínimo diseñado para separar el aprendizaje de la localización del reconocimiento:

1. Localización agnóstica a la clase: Se entrena un detector YOLO11s únicamente para identificar regiones de "caracteres oraculares" (primer plano vs. fondo) sin predecir clases de glifos específicas. Esta rama optimiza la cobertura de candidatos y es robusta al desequilibrio de clases.
2. Reconocimiento consciente de la frecuencia: Para cada cuadro delimitador detectado, se extrae un recorte y se pasa a un reconocedor ResNet18 separado. Esta rama se entrena con estrategias específicas para manejar la cola larga:
   • Reequilibrio de exposición (Exposure Rebalancing): Las clases raras (Cola larga y Pocos disparos) se sobremuestrean durante el entrenamiento utilizando pesos dependientes del grupo (por ejemplo, un peso $\beta=8$ para las clases de pocos disparos) para aumentar su exposición de optimización sin alterar el detector.
   • Aumento preservador de la morfología: El aumento de datos se aplica estrictamente para preservar la topología de los trazos y la identidad semántica (evitando giros agresivos o distorsiones comunes en el OCR general), asegurando que los glifos raros sigan siendo válidos.
3. Fusión con compuerta de confianza: La puntuación final es el producto de la confianza de localización y la probabilidad de reconocimiento. El sistema emplea un mecanismo de rechazo: si la puntuación de confianza máxima cae por debajo de un umbral $\tau$, la predicción es rechazada en lugar de forzada a una etiqueta de conjunto cerrado, permitiendo la verificación de expertos o la búsqueda asistida por recuperación.

3. Contribuciones clave

1. Diagnóstico de la estructura de la tarea: El artículo demuestra que para la detección de huesos oraculares, la localización agnóstica a la clase ya es fuerte (AP50 $\approx$ 0.85), y que el principal cuello de botella es el reconocimiento de cola larga. Muestra que el reponderado de frecuencia inversa ingenuo dentro de un cabezal de detección estándar es contraproducente, degradando el rendimiento general mientras apenas ayuda a las clases raras.
2. Evaluación consciente de la frecuencia: Los autores introducen y lanzan un conjunto de evaluación estratificado que desglosa el rendimiento por grupos de frecuencia, exponiendo el fallo de las métricas agregadas para reflejar las capacidades de las clases raras.
3. Línea base FAR-YOLO: Una arquitectura desacoplada que mejora el AP50 de pocos disparos en 10.5 puntos porcentuales (de 0.06 a 0.17) y el AP50 equilibrado por clase en 3.7 puntos, manteniendo el AP50 del detector directo.
4. Perspectiva de clasificación de candidatos: A través del análisis de los 5 mejores candidatos, los autores muestran que para glifos raros, la identidad correcta está frecuentemente presente en los 5 mejores candidatos del modelo, incluso cuando la predicción del Top-1 es errónea. Esto sugiere que el fallo es a menudo uno de compromiso forzado de etiqueta única en lugar de representación visual.

4. Resultados

• Rendimiento Agregado vs. Estratificado: El YOLO multiclase directo logra un AP50 global de 0.6347 pero falla en las clases de pocos disparos (0.0611). Aplicar el reponderado de clases al detector directo reduce el AP50 global a 0.5285 con una ganancia insignificante para las clases de pocos disparos (0.0770).
• Rendimiento Desacoplado: FAR-YOLO logra un AP50 global de 0.6533 (ligeramente mejor que la línea base directa) mientras aumenta significativamente el AP50 de pocos disparos a 0.1660 y el AP50 equilibrado por clase a 0.3767.
• Estudios de Ablación:
  • El sobremuestreo por sí solo mejora las métricas de clases raras sin perjudicar el rendimiento general.
  • El aumento de datos por sí solo mejora el AP50 general pero no logra mejorar el reconocimiento de pocos disparos.
  • Combinación: La sinergia del sobremuestreo y el aumento preservador de la morfología produce los mejores resultados.
• Análisis Top-5: Relajar la evaluación de coincidencia Top-1 a Top-5 duplica el AP50 de pocos disparos para la cascada de entropía cruzada (0.0790 a 0.1713), lo que indica que el modelo a menudo "conoce" el glifo correcto pero falla en clasificarlo primero.
• Eficiencia: FAR-YOLO es aproximadamente un 28.5% más lento que el detector directo (38.22 FPS frente a 49.12 FPS), pero sigue siendo práctico para el procesamiento fuera de línea.

5. Significado y Reivindicaciones

El artículo sostiene que el campo debe ir más allá de la optimización de métricas agregadas y la "ingeniería de detectores" para el reconocimiento de huesos oraculares. El principal significado radica en:

• Reencuadre del Cuello de Botella: Establecer que la dificultad reside en el reconocimiento de cola larga de glifos raros, no en encontrar los caracteres en sí mismos.
• Reforma de la Evaluación: Argumentar que la investigación futura debe adoptar protocolos conscientes de la frecuencia para evitar enmascarar el fallo de los modelos en caracteres raros de gran importancia histórica.
• Cambio en el Diseño de Sistemas: Proponer que los sistemas prácticos deben abandonar la clasificación forzada de conjunto cerrado en favor de la clasificación de candidatos, el reconocimiento asistido por recuperación y la verificación humano-en-el-bucle. Los autores enfatizan que, dado que los glifos raros suelen estar presentes en los candidatos top-k, el objetivo debería ser facilitar la selección del experto en lugar de forzar una etiqueta automatizada única.

Los autores mantienen la modestia, reconociendo que incluso con el desacoplamiento y el reequilibrio, el rendimiento de pocos disparos (0.17 AP50) sigue estando lejos de ser "utilizable" para una interpretación totalmente automatizada, y que el estudio se limita actualmente a la modalidad de frotes del OBIMD.