Resumen Técnico: Más allá del carácter único: Evaluación de los MLLM para la comprensión de inscripciones de huesos oraculares a nivel de oración

Planteamiento del problema

La investigación existente sobre el reconocimiento y la comprensión de las inscripciones de huesos oraculares (OBI, por sus siglas en inglés) se ha centrado predominantemente en tareas a nivel de carácter, tales como la detección, clasificación o descifrado de glifos aislados. Si bien estas tareas son fundamentales, no logran evaluar la capacidad de un modelo para comprender la coherencia estructural, los roles semánticos y las dependencias contextuales inherentes a los cargos divinatorios completos. Un registro de OBI completo no es simplemente una colección de caracteres aislados; sigue una forma estructurada que involucra componentes como fechas, adivinos, cargos y resultados. Los modelos de lenguaje de gran tamaño multimodales (MLLM) actuales carecen de marcos de evaluación robustos para determinar si pueden ir más allá del reconocimiento de caracteres aislados para lograr la comprensión de inscripciones a nivel de oración, lo cual requiere la integración de la percepción de glifos, el orden de los caracteres y el contexto divinatorio.

Metodología

1. Construcción del benchmark S-OBI

Para abordar la escasez de datos de OBI limpios y a nivel de oración, así como el ruido inherente a las estampaciones tradicionales, los autores introducen S-OBI, un benchmark de diagnóstico.

• Fuente de datos: El benchmark se construye sobre 95 estampaciones de OBI de oraciones originales que han sido identificadas, corregidas y verificadas por expertos.
• Síntesis mediante sustitución de glifos: En lugar de utilizar estampaciones ruidosas e incompletas como entrada visual directa, S-OBI sintetiza imágenes de nivel de oración claras y estandarizadas. El proceso implica:
  1. Extraer caracteres individuales de imágenes de origen verificadas por expertos.
  2. Mapear estos caracteres a categorías correspondientes utilizando conjuntos de datos de OBI a gran escala (por ejemplo, OBC306, HUST-OBC).
  3. Reemplazar los glifos originales con muestras de glifos limpias y de alta calidad de estos conjuntos de datos, preservando estrictamente el contenido semántico original y la estructura inscriptiva.
• Razón de ser: Esta sustitución mitiga las distorsiones visuales de bajo nivel (ruido, grietas, filtración de tinta) presentes en las estampaciones originales, permitiendo una evaluación enfocada en la comprensión a nivel de oración en lugar de la robustez visual de bajo nivel.

2. Diseño de tareas

S-OBI consta de 695 pares de pregunta-respuesta a través de tres niveles de tareas distintas diseñadas para evaluar diferentes niveles de comprensión:

• T1: Coincidencia Semántica:
  • Selección de significado: Dada una imagen de OBI a nivel de oración, el modelo selecciona el significado semántico holístico correcto entre múltiples opciones.
  • Juicio de orden semántico: El modelo identifica el orden de lectura correcto de las unidades semánticas dentro de la inscripción.
• T2: Extracción de ranuras semánticas (Semantic Slot Extraction): El modelo debe recuperar un marco de adivinación estructurado (por ejemplo, sujeto, acción, objeto, tiempo, resultado, prefacio, cargo) a partir de la imagen, lo que requiere la inferencia de caracteres ambiguos basados en el contexto conocido.
• T3: Razonamiento Contextual:
  • Completado de glifos enmascarados: Se enmascaran el 30% de los caracteres; el modelo debe predecir el carácter faltante a partir de las opciones basándose en el contexto.
  • Restauración de puntuación: El modelo restaura los límites de puntuación en secuencias sin puntuar.
  • Recuperación de orden: El modelo recupera el orden de lectura correcto a partir de secuencias de caracteres desordenadas.

3. Configuración experimental

Los autores evaluaron 10 MLLM de última generación, incluyendo modelos propietarios (GPT-5.2, GPT-4o, Gemini 3.1 Pro, Qwen3.6-Plus) y de código abierto (DeepSeek-V4-Pro, Qwen3.6-35B, serie InternVL3.5, etc.). Las métricas de evaluación incluyeron la precisión general, la precisión promedio por tarea y la precisión por instancia.

Resultados clave

1. Techo de rendimiento general

Los MLLM actuales demuestran un rendimiento inferior en la comprensión de OBI a nivel de oración.

• La mejor puntuación general alcanzada por cualquier modelo (Qwen3.6-Plus-thinking) fue de solo 33.5%.
• La mayoría de los modelos se situaron por debajo del 30%, lo que indica que las capacidades generales de OCR y el seguimiento de instrucciones multimodales amplias son insuficientes para esta tarea.

2. Disparidades específicas de las tareas

• Orden vs. Significado: Los modelos funcionan significativamente mejor en la selección de orden de unidades semánticas (promedio ~79.6%) que en la coincidencia de significado holístico (promedio ~22.6%). Esto sugiere que los modelos explotan regularidades de secuencia visibles (orden formulario) en lugar de una interpretación semántica profunda.
• Fallo de razonamiento estructurado: La extracción de ranuras semánticas sigue siendo un cuello de botella importante, donde el mejor modelo alcanzó solo un 27.2% y todos los modelos fallaron en lograr una coincidencia exacta del 100% en el marco de la ranura completa.
• Debilidad del razonamiento contextual: La restauración de puntuación y el completado de glifos enmascarados son particularmente débiles. Las puntuaciones de restauración de puntuación fueron inferiores al 15% para todos los modelos, y las puntuaciones de completado de glifos enmascarados fueron a menudo inferiores al nivel de probabilidad del 25% de una tarea de cuatro opciones.

3. Dependencia del reconocimiento a nivel de carácter

Los experimentos revelan que la comprensión a nivel de oración en los modelos actuales es fuertemente dependiente del reconocimiento a nivel de carácter. Los errores de percepción visual en las regiones no enmascaradas se propagan a través de la cadena de razonamiento, provocando predicciones erróneas para los caracteres enmascarados. Los modelos tienen dificultades para utilizar el contexto de la oración para recuperar glifos faltantes o ambiguos cuando la evidencia visual local es incompleta.

4. Correlación de dificultad

• Sensibilidad a la longitud: El rendimiento en T2 (Extracción de ranuras) se degrada a medida que aumenta la longitud de la inscripción, lo que sugiere que los textos más largos actúan como una prueba de presión para la asignación de roles estructurados.
• Independencia de las tareas: El análisis de correlación muestra que las tareas de "Enmascarado" son ortogonales a las tareas de "Significado", lo que indica que el emparejamiento de patrones visuales locales no necesariamente se correlaciona con una lógica semántica de alto nivel.

Contribuciones clave

1. Nueva definición de tarea: El artículo propone una tarea de comprensión de OBI a nivel de oración, cambiando la unidad de evaluación desde glifos aislados hacia inscripciones divinatorias completas, lo que requiere la consideración conjunta de la percepción de glifos, el orden, los roles semánticos y el contexto.
2. Benchmark S-OBI: Construcción de un benchmark de diagnóstico que presenta 695 pares de QA a través de tres tipos de tareas, utilizando la sustitución de glifos para crear imágenes de nivel de oración estandarizadas y con ruido reducido.
3. Evaluación exhaustiva: Una evaluación sistemática de 10 MLLM que revela que, si bien los modelos pueden manejar la selección semántica gruesa, fallan en la recuperación semántica estructurada, la restauración de la puntuación y el completado de glifos enmascarados.

Significado y afirmaciones

El artículo posiciona la comprensión de escrituras antiguas a nivel de oración como un problema de evaluación multimodal distinto y desafiante. Los autores afirman que S-OBI sirve como un benchmark de diagnóstico para determinar si los MLLM pueden transicionar del reconocimiento de caracteres aislados a la comprensión de inscripciones estructuradas.

Los hallazgos indican que los MLLM actuales aún no han desarrollado una capacidad robusta para modelar la estructura y el contexto de las inscripciones divinatorias completas. La brecha significativa entre la selección de orden y el razonamiento semántico sugiere que los modelos existentes dependen de regularidades formularias en lugar de un verdadero desciframiento contextual. Por consiguiente, el artículo argumenta que la comprensión de OBI a nivel de oración sigue siendo un desafío crítico sin resolver para el campo, destacando la necesidad de modelos que puedan integrar las características visuales de los glifos con un razonamiento semántico y estructural profundo.