💻 computer science

OracleAnalyser: Analysing Implicit Semantics of Oracle Bone Scripts through MLLMs with Post-training

El artículo presenta OracleAnalyser, un marco de post-entrenamiento de 3 mil millones de parámetros que utiliza un novedoso algoritmo de Optimización de Preferencia Focal Estable (SFPO, por sus siglas en inglés) y nuevos conjuntos de datos para avanzar significativamente en el análisis semántico implícito de las escrituras de huesos oraculares más allá de las tareas tradicionales de reconocimiento.

Autores originales: Zijia Song, Yelin Wang, Zhengyi Ma, Zitong Yu, Tianheng Wang, Jiahuan Zhang, Taorui Wang, Kaicheng Yu

Publicado 2026-06-25

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zijia Song, Yelin Wang, Zhengyi Ma, Zitong Yu, Tianheng Wang, Jiahuan Zhang, Taorui Wang, Kaicheng Yu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una caja de rompecabezas gigante y antigua hecha de caparazones de tortuga y huesos de animales. Estos son los Escritos de Huesos Oraculares, el sistema de escritura más antiguo de China, tallados hace miles de años. Durante mucho tiempo, los expertos han intentado descifrar qué significan estas extrañas imágenes. Hasta ahora, han logrado traducir unos 1,600 de los más de 4,500 caracteres, pero el resto sigue siendo un misterio.

Hasta ahora, la mayoría de los programas informáticos que intentaban resolver este rompecabezas eran como fotocopiadoras. Les muestras la imagen de un grabado en un hueso e intentan adivinar: "¿Es este el carácter 'A' o 'B'?". Son buenos reconociendo patrones que ya han visto antes, pero realmente no entienden la imagen. Solo memorizan la respuesta.

Este artículo presenta una nueva IA llamada OracleAnalyser. En lugar de ser solo una fotocopiadora, OracleAnalyser es como un detective o un traductor que realmente observa las pistas y explica por qué cree que un carácter significa lo que significa.

Así es como construyeron este detective, utilizando analogías sencillas:

1. El problema: "Adivinar a ciegas" vs. "Pensar"

Los modelos de IA anteriores eran como estudiantes que memorizaban la clave de respuestas pero no entendían las matemáticas. Si veían un carácter que no habían memorizado, simplemente adivinaban.

La forma antigua: Muestras la imagen de un hueso con el dibujo de una persona cargando algo sobre su cabeza. La IA adivina: "Este es el carácter para 'Cielo". Pero no puede explicar por qué.
La nueva forma (OracleAnalyser): La IA mira la misma imagen y dice: "Veo a una persona de pie. Hay una forma redondeada sobre su cabeza, como si estuviera cargando algo pesado. Esto parece el símbolo antiguo de 'Cielo'". Descompone la imagen en partes antes de dar la respuesta.

2. El entrenamiento: Enseñando al detective

Los investigadores no se limitaron a alimentar a la IA con más imágenes. Le enseñaron a pensar en tres pasos:

Paso 1: La clase magistral (Ajuste Fino Supervisado)
Ellos tomaron una IA inteligente (Qwen2.5-VL) y le mostraron miles de ejemplos donde un experto explicaba la imagen antes de nombrar el carácter. Es como un profesor mostrándole a un estudiante: "Mira estas líneas; parecen un techo. Esto significa 'Casa'". La IA aprendió a imitar este razonamiento.
Paso 2: El examen de práctica (Generación de datos)
Se le pidió a la IA que hiciera un examen. A veces acertaba, otras veces fallaba. Los investigadores recopilaron estos intentos.
- La respuesta buena: "Esto parece un árbol con raíces". (Correcto)
- La respuesta mala: "Esto parece un palo". (Incorrecto)
  Ellos usaron estos pares para enseñar a la IA la diferencia entre una buena explicación y una mala.
Paso 3: El entrenamiento especial (SFPO)
Esta es la mayor innovación del artículo. Los métodos de entrenamiento estándar a veces pueden confundirse si las respuestas "malas" son en realidad más o menos correctas (por ejemplo, decir que un árbol parece un palo no es totalmente erróneo, pero no es lo suficientemente específico).
Los investigadores crearon un nuevo método de entrenamiento llamado Optimización de Preferencia de Foco Estable (SFPO).
- La analogía: Imagina a un entrenador que no se limita a gritar "¡Mal!" ante cada error. En su lugar, el entrenador se enfoca en los errores más importantes e ignora los que son demasiado confusos o triviales. También se asegura de que el estudiante no olvide todo lo aprendido en la primera clase (el paso de la "Clase magistral"). Esto mantiene a la IA estable y enfocada en las lecciones más valiosas.

3. El resultado: Un cerebro pequeño con grandes capacidades

Normalmente, para resolver problemas difíciles, necesitas un cerebro informático masivo (un modelo de IA gigante). Pero OracleAnalyser es sorprendentemente pequeño: solo tiene 3 mil millones de parámetros (piensa en esto como un cerebro pequeño y eficiente comparado con los cerebros gigantes de 70 mil millones de parámetros de sus competidores).

A pesar de ser más pequeño, funcionó mejor que todos los modelos gigantes.

En caracteres conocidos: Fue mucho mejor explicando el significado e identificando el carácter.
En caracteres desconocidos: Cuando se le mostró un grabado en hueso que nunca había visto, aún podía observar la imagen, describir las formas (como "parece humo" o "parece un techo") y hacer una suposición inteligente.

Resumen

El artículo afirma que, al enseñar a una IA a analizar la imagen primero (como un detective) en lugar de solo reconocer el patrón (como una fotocopiadora), y al utilizar un método de entrenamiento especial y estable para evitar la confusión, crearon una herramienta pequeña pero poderosa. Esta herramienta ayuda a los investigadores a comprender la historia antigua de China al explicar la "historia" detrás de los dibujos antiguos, no solo adivinando el nombre del carácter.

Resumen Técnico: OracleAnalyser

1. Planteamiento del Problema

El desciframiento de los Escritos en Huesos Oraculares (OBS, por sus siglas en inglés), el sistema de escritura maduro más antiguo de China, sigue siendo un desafío significativo en la arqueología y la filología. Aunque se han identificado más de 4,500 caracteres, solo aproximadamente 1,600 han sido descifrados. Los enfoques actuales de inteligencia artificial en este dominio, incluyendo modelos de aprendizaje profundo y los benchmarks actuales, se centran predominantemente en tareas de reconocimiento (identificar el carácter). Estos métodos suelen pasar por alto el aspecto igualmente crucial del razonamiento analítico: el proceso de interpretar la estructura pictográfica y el significado semántico de la escritura. Los benchmarks actuales carecen de métricas para evaluar la capacidad de un modelo para generar razonamiento analítico intermedio, lo que limita la interpretabilidad y la efectividad de la IA en el desciframiento de caracteres desconocidos.

2. Metodología

Los autores proponen OracleAnalyser, un marco de razonamiento para el análisis de huesos oraculares basado en técnicas de post-entrenamiento aplicadas a Modelos de Lenguaje de Gran Escala Multimodales (MLLM). El marco opera a través de tres etapas primarias:

A. Construcción del Conjunto de Datos

Conjunto de Datos de Razonamiento de Huesos Oraculares: Construido a partir del conjunto de datos EVOBC, filtrado para incluir 2,807 caracteres válidos. Los autores utilizan Qwen-VL-MAX para generar descripciones analíticas basadas en perspectivas pictográficas, condicionadas al carácter chino moderno correspondiente para asegurar la precisión. Estas descripciones son refinadas por Qwen-3 y verificadas manualmente por expertos, resultando en un conjunto de datos de aproximadamente 5,500 muestras (5,000 para entrenamiento, 500 para pruebas dentro del dominio y 500 para pruebas fuera del dominio).
Conjunto de Datos de Preferencia de Huesos Oraculares: Generado mediante el uso del modelo de ajuste fino supervisado (OracleAnalyser-SFT) para realizar múltiples trazas de inferencia sobre imágenes de huesos oraculares. Las muestras positivas son análisis de la verdad de referencia (ground-truth), mientras que las muestras negativas se seleccionan de los propios errores sistemáticos del modelo (trazas de reconocimiento incorrectas). Esto produce más de 3,400 pares de preferencia de alta calidad tras un filtrado manual.

B. Pipeline de Entrenamiento

Ajuste Fino Supervisado (SFT): El modelo base, Qwen2.5-VL-3B-Instruct, es ajustado mediante el conjunto de datos de razonamiento. Esta etapa dota al modelo de capacidades fundamentales de reconocimiento de patrones visuales y razonamiento analítico, sirviendo como una inicialización estable para los pasos posteriores.
Optimización de Preferencia de Foco Estable (SFPO): Para abordar las limitaciones de la Optimización de Preferencia Directa (DPO) estándar en este dominio (específicamente, el riesgo de sobreajuste a preferencias ruidosas y la tendencia a sobreinterpretar pares difíciles de clasificar), los autores proponen SFPO.
- Componente de Foco ( $L_F$ ): Adapta el concepto de Pérdida Focal para reducir el peso de los pares de preferencia "difíciles de clasificar" donde el modelo tiene dificultades para distinguir entre el razonamiento correcto e incorrecto, evitando que el modelo aprenda distinciones espurias.
- Componente de Estabilidad ( $L_S$ ): Introduce un término de divergencia de Kullback-Leibler (KL) inversa para restringir la divergencia entre el modelo de política ( $\pi_\theta$ ) y el modelo de referencia ( $\pi_{ref}$ ), asegurando un entrenamiento estable y evitando una deriva excesiva.
- La función de pérdida final combina estos componentes: $L_{SFPO} = L_F + \lambda L_S$ .

C. Benchmark de Evaluación

Los autores introducen un nuevo benchmark que comprende evaluaciones dentro del dominio y fuera del dominio. A diferencia de los benchmarks previos que se centran únicamente en la precisión del reconocimiento, este benchmark evalúa:

Calidad Analítica: Medida mediante las puntuaciones BLEU-1, BLEU-4, ROUGE-1 y ROUGE-L frente al análisis de la verdad de referencia.
Precisión de Reconocimiento: Para tareas dentro del dominio.
Puntuación Sentence-BERT (SBS): Para tareas fuera del dominio, midiendo la similitud semántica entre el análisis generado por el modelo y la verdad de referencia para evaluar la generalización en caracteres no vistos.

3. Contribuciones Clave

Conjuntos de Datos y Benchmark: El lanzamiento del primer conjunto de datos de razonamiento de huesos oraculares, el primer conjunto de datos de preferencia de huesos oraculares y un nuevo benchmark diseñado para evaluar sistemáticamente las capacidades analíticas en lugar de solo el reconocimiento.
Marco OracleAnalyser: Un marco novedoso que integra el razonamiento explícito con múltiples estrategias de post-entrenamiento (SFT y SFPO) específicamente adaptadas para el análisis de huesos oraculares.
Algoritmo SFPO: Un nuevo algoritmo de optimización de preferencia que estabiliza el entrenamiento y se enfoca en muestras valiosas mediante la mitigación de los efectos negativos de los pares de preferencia ruidosos y ambiguos.
Desempeño: Demostración de que un modelo de 3 mil millones de parámetros puede lograr un desempeño analítico superior comparado con modelos significativamente más grandes (hasta 241 mil millones de parámetros) y modelos especializados de reconocimiento.

4. Resultados Experimentales

Se realizaron experimentos extensos tanto en conjuntos de prueba dentro del dominio como fuera del dominio:

Desempeño Dentro del Dominio: OracleAnalyser logró una precisión de reconocimiento del 39.6% y superó significativamente a todos los modelos competidores (incluyendo InternVL-3.5-241B y modelos especializados como OBSD) en métricas analíticas (BLEU y ROUGE). Por ejemplo, alcanzó una puntuación BLEU-4 de 72.77 frente a la puntuación de ~4.32 del siguiente mejor MLLM general.
Generalización Fuera del Dominio: En caracteres no vistos, OracleAnalyser alcanzó la puntuación Sentence-BERT más alta (70.35), indicando que sus análisis generados están semánticamente más cerca de la verdad de referencia que los de modelos más grandes.
Estudios de Ablación:
- Filtrado de Datos: Eliminar pares de preferencia ambiguos mejoró el desempeño, confirmando que la calidad de los datos es más crítica que la cantidad.
- Estrategia de Entrenamiento: La combinación de SFT, Pérdida Focal ( $L_F$ ) y Pérdida de Estabilidad ( $L_S$ ) (es decir, SFPO) produjo los mejores resultados. El DPO estándar proporcionó una mejora limitada, y omitir el término de estabilidad ( $L_S$ ) provocó un colapso en el entrenamiento en las etapas finales.
Análisis Visual: Los resultados cualitativos muestran que el modelo puede descomponer glifos con precisión y asociar componentes con entidades del mundo real, demostando las capacidades de análisis pictográfico aprendidas.

5. Significado

El artículo afirma que OracleAnalyser representa un cambio del reconocimiento puro al razonamiento analítico en el campo de la investigación de los escritos en huesos oraculares. Al aprovechar las técnicas de post-entrenamiento y un nuevo algoritmo de optimización, el marco permite que un modelo relativamente pequeño (3 mil millones de parámetros) supere a modelos mucho más grandes en tareas de desciframiento. Los autores argumentan que este enfoque proporciona una solución más interpretable y efectiva para la preservación del patrimonio cultural, ofreciendo un método para reducir el espacio de búsqueda para los paleógrafos al enfrentarse a escrituras desconocidas. El trabajo se presenta como el primero en integrar el razonamiento explícito con múltiples estrategias de post-entrenamiento específicamente para el análisis de huesos oraculares.