Leveraging GenAI for Segmenting and Labeling Centuries-old Technical Documents

Este artículo presenta un enfoque que combina modelos de inteligencia artificial generativa (SAM2, Florence2 y ChatGPT) con una ontología especializada para segmentar y etiquetar tratados históricos de construcción naval de los siglos XVI y XVII, superando así las limitaciones de datos para facilitar la curación y el acceso a estos documentos.

Lo esencial

¡Hola! Imagina que tienes una biblioteca antigua llena de libros de hace 400 años. Estos libros no son de cuentos de hadas, sino manuales técnicos sobre cómo construir barcos gigantes en la época de los grandes exploradores. El problema es que están escritos en idiomas antiguos, con dibujos complejos y términos que solo un experto en barcos de madera podría entender.

Los autores de este artículo, Carlos y Benjamin, se preguntaron: "¿Podemos usar la inteligencia artificial moderna para 'leer' y organizar estos libros antiguos, tal como lo hace Google con las fotos de nuestras vacaciones?"

Aquí te explico su trabajo con una analogía sencilla:

1. El Problema: El "Traductor" que no entiende el jerga

La inteligencia artificial (IA) actual es como un estudiante muy brillante que ha visto billones de fotos de gatos, coches y personas. Si le muestras una foto de un perro, lo identifica al instante.

Pero, si le muestras un dibujo de un barco de 1600 y le preguntas: "¿Qué es esa pieza de madera que parece un gancho?", la IA se confunde.

• Por qué: No ha visto suficientes fotos de barcos antiguos (le falta "entrenamiento").
• El riesgo: Podría llamarle "gancho" cuando en realidad es una pieza técnica llamada "Codaste". Es como si un traductor intentara traducir un poema antiguo usando solo palabras de un diccionario moderno; el sentido se pierde.

2. La Solución: Un Equipo de Tres Expertos (La "Trinidad" de la IA)

Para solucionar esto, los autores crearon un equipo de trabajo digital. Imagina que son tres personas trabajando juntas para limpiar y etiquetar una habitación llena de muebles antiguos:

• El Cortador (SAM2): El "Cuchillo de Chef"
  Primero, necesitan separar las partes del dibujo. El algoritmo SAM2 actúa como un cuchillo de chef muy preciso. Mira el dibujo del barco y dice: "Aquí hay una pieza, aquí hay otra, y aquí hay una mancha de tinta". Recorta digitalmente cada parte para que no estén todas mezcladas.

  • Analogía: Es como si tomaras un puzzle gigante y separaras todas las piezas individuales antes de intentar adivinar qué imagen forman.

• El Etiqueta (ChatGPT / Florence2): El "Estudiante Curioso"
  Una vez que tienen las piezas separadas, necesitan ponerles nombres. Aquí entra la IA generativa (como ChatGPT). Le muestra la pieza y le pregunta: "¿Qué es esto?".

  • El truco: Si le preguntas simplemente "¿Qué es esto?", la IA podría decir "una rueda" (porque ve una rueda). Pero los autores le dan un "chuleta" (un glosario especializado). Le dicen: "Esto es un barco de madera del siglo XVII, ¿qué es esta pieza?". Así, la IA deja de adivinar y empieza a usar el vocabulario correcto.

• El Arquitecto (Ontología): El "Mapa del Tesoro"
  Para que el "Estudiante Curioso" no se equivoque, los autores le dieron un mapa de reglas llamado ontoShip. Es como un árbol genealógico de los barcos.

  • Analogía: Si la IA ve una pieza y el mapa le dice: "Oye, esta pieza siempre va pegada al fondo del barco y se llama 'Quilha'", la IA ya no tiene dudas. El mapa le dice dónde debe ir cada cosa y cómo se relacionan entre sí.

3. El Resultado: De "Bosque" a "Biblioteca Organizada"

Antes de este trabajo, buscar una foto de un "timón" en estos libros antiguos era como buscar una aguja en un pajar. Tenías que hojear miles de páginas manualmente.

Con su nuevo sistema:

1. La IA recorta el dibujo del barco.
2. La IA identifica la pieza usando el mapa de reglas.
3. La IA pone una etiqueta digital sobre la pieza.

Ahora, un historiador o incluso un niño curioso puede buscar "vela" en una base de datos y encontrar instantáneamente todos los dibujos de velas de esos libros antiguos, aunque el libro original esté en italiano o en latín.

¿Por qué es importante?

Imagina que estos libros son joyas de la historia. Si no se pueden buscar ni entender, están "dormidos" en una caja. Este proyecto es como ponerles una alarma y una luz para que el mundo pueda verlos, estudiarlos y aprender de la ingeniería de nuestros antepasados.

En resumen: Los autores tomaron herramientas de IA que son geniales para fotos modernas (como las de Instagram) y las "entrenaron" con un diccionario especial de barcos antiguos para que puedan entender y organizar el arte histórico, haciendo que la historia sea accesible para todos.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Resumen Técnico: Aprovechamiento de la IA Generativa para la Segmentación y Etiquetado de Documentos Técnicos Centenarios

1. El Problema
El documento aborda el desafío de aplicar técnicas avanzadas de procesamiento de imágenes (segmentación y reconocimiento) a colecciones de documentos históricos digitalizados, específicamente tratados de arquitectura naval de los siglos XVI y XVII (la Era de la Exploración).

• Limitaciones actuales: Aunque algoritmos como SAM2 (Segment Anything Model 2) logran una precisión notable en fotografías modernas gracias a la inmensidad de los datos de entrenamiento, su rendimiento disminuye drásticamente en dominios especializados.
• Causas de la dificultad:
  • Escasez de datos: Falta de conjuntos de datos de entrenamiento masivos y específicos para ilustraciones técnicas antiguas.
  • Complejidad del dominio: Las imágenes contienen objetos compuestos y terminología técnica especializada (partes de barcos) que requieren conocimientos profundos para ser interpretados correctamente, algo que los modelos generales no poseen.
• Impacto: Sin una segmentación y etiquetado precisos, la curación, catalogación y recuperación de información de estas colecciones de valor incalculable para la historia y la arqueología es ineficiente.

2. Metodología Propuesta
Los autores proponen un pipeline de tres pasos que integra visión por computadora, IA generativa y conocimiento experto estructurado:

• Paso 1: Segmentación de Imágenes
  • Se utiliza SAM2 (Segment Anything Model 2) para identificar y delimitar contornos de objetos dentro de las ilustraciones.
  • Se compara con el algoritmo clásico Watershed (OpenCV), demostrando que SAM2 ofrece una granularidad superior, capaz de detectar sub-componentes (ej. timones, velas, textos) en lugar de solo el objeto completo.
• Paso 2: Generación de Etiquetas y Descripciones
  • Se experimentaron cuatro enfoques diferentes para la generación de etiquetas:
    1. BLIP + NLTK + GroundingDINO: Generación de capturas de texto y extracción de palabras clave.
    2. Tag2Text: Sustitución de BLIP, pero limitado por listas de términos predefinidas.
    3. RAM (Recognize Anything Model): Una versión mejorada de Tag2Text con vocabulario ampliado.
    4. IA Generativa (ChatGPT/Florence-2): Uso de modelos de lenguaje para generar definiciones detalladas de términos navales, las cuales se utilizan para enriquecer el contexto de etiquetado.
• Paso 3: Asignación de Cajas delimitadoras (Bounding Boxes) y Ontología
  • Se emplea GroundingDINO (un algoritmo de reconocimiento de imágenes zero-shot) para asignar cajas delimitadoras a los objetos detectados.
  • Innovación clave: Integración de ontoShip (una ontología especializada en arquitectura naval con ~250 conceptos) y glosShip (un glosario multilingüe curado). En lugar de usar palabras aleatorias, el sistema utiliza definiciones y propiedades espaciales de la ontología para refinar los prompts (instrucciones) enviados a la IA generativa, mejorando la precisión semántica.

3. Contribuciones Clave

• Pipeline Híbrido: Desarrollo de un flujo de trabajo que combina la segmentación de vanguardia (SAM2) con la capacidad de razonamiento contextual de la IA generativa (ChatGPT) y el conocimiento estructurado de una ontología especializada.
• Validación de Ontologías en IA: Demostración de que enriquecer los prompts de IA con definiciones de un glosario técnico y una ontología reduce significativamente los "falsos positivos" y mejora la relevancia de las etiquetas en dominios de nicho.
• Comparativa de Algoritmos: Evaluación empírica que establece que SAM2 supera a los métodos tradicionales (Watershed) en la detección de detalles finos en ilustraciones antiguas, y que el uso de ChatGPT para generar descripciones contextuales supera a los modelos de etiquetado automático estándar (como RAM o BLIP solos), aunque requiere un control estricto de los prompts.

4. Resultados y Discusión

• Segmentación: SAM2 logró identificar segmentos geométricos complejos y sub-componentes de barcos (ej. Alifez, Quilha, Codaste) que otros algoritmos ignoraban o agrupaban incorrectamente.
• Etiquetado:
  • El enfoque con ChatGPT mostró mayor detalle y capacidad para identificar más objetos, pero también generó errores (ej. etiquetar poleas como "ejes" o bordes de libros como "objetos afilados") cuando no se proporcionaba contexto suficiente.
  • Al especificar el contexto nautical en los prompts (ej. "en un contexto de construcción naval"), la precisión mejoró notablemente.
  • La integración de ontoShip y glosShip se identificó como la estrategia más prometedora para estandarizar y corregir las etiquetas, actuando como una "verdad fundamental" (ground truth) curada por humanos.
• Desafíos: La variabilidad en los resultados depende fuertemente de la calidad de los prompts y de la capacidad del modelo para entender la terminología técnica histórica sin ambigüedades.

5. Significado e Impacto Futuro

• Preservación del Patrimonio: El trabajo facilita la accesibilidad de tratados históricos de navegación a investigadores y al público general, permitiendo una búsqueda semántica precisa dentro de colecciones de miles de imágenes.
• Escalabilidad: Los autores planean aplicar este pipeline a una colección de 14 tratados (aprox. 4,000 imágenes) en múltiples idiomas (francés, inglés, holandés, italiano, latín) que abarcan desde 1550 hasta 1813.
• Futuro: Se propone diseñar métricas cuantitativas para medir la diferencia entre las etiquetas generadas por IA y las definiciones de la ontología curada. Además, se explorará el uso de Florence-2 como una herramienta integral ("navaja suiza") para comparar su rendimiento contra RAM y otros modelos, buscando optimizar la curación automática de archivos históricos.

En conclusión, el paper demuestra que la combinación de IA generativa, segmentación moderna y conocimiento experto estructurado (ontologías) es una vía viable y necesaria para superar las limitaciones de la IA tradicional en la digitalización y recuperación de información de documentos técnicos históricos especializados.