Building an Ensemble LLM Semantic Tagger for UN Security Council Resolutions

Este artículo presenta un sistema de etiquetado semántico basado en un ensemble de modelos LLM para las resoluciones del Consejo de Seguridad de la ONU, que utiliza métricas de preservación de contenido y formalidad de etiquetas para seleccionar automáticamente las mejores salidas, logrando un alto rendimiento con un costo reducido.

Lo esencial

Imagina que tienes una biblioteca gigante llena de documentos históricos muy importantes: las resoluciones del Consejo de Seguridad de la ONU. Estos documentos son como tesoros, pero tienen un problema: están escritos en papel, luego fueron escaneados, y el texto resultante es un desastre. Tiene errores de tipeo, está dividido en dos columnas (como un periódico antiguo) y a veces mezcla inglés y francés en la misma línea. Es como intentar leer un libro donde las páginas están rotas y el texto salta de un lado a otro.

El objetivo de este trabajo es limpiar ese desastre y ponerle etiquetas para que las computadoras puedan entenderlo y crear un "mapa del tesoro" (lo que llaman un grafo de conocimiento).

Aquí te explico cómo lo hicieron, usando analogías sencillas:

1. El Problema: Los "Ojos" de la Máquina

Las computadoras normales se ahogan con este texto sucio. Necesitaban una herramienta inteligente. Usaron Modelos de Lenguaje Grande (LLM), que son como asistentes de IA muy listos (tipo ChatGPT).

Pero hay un truco: estos asistentes son un poco impredecibles. Si les pides lo mismo dos veces, a veces te dan respuestas ligeramente diferentes. Es como pedirle a un chef que prepare un plato; si le das la misma receta, a veces le pone un poco más de sal o cambia el orden de los ingredientes. A veces eso es bueno, pero para documentos oficiales, necesitamos precisión absoluta.

2. La Solución: El "Jurado de Sabores" (El Ensamble)

En lugar de confiar en un solo asistente, el autor (Hussein Ghaly) creó un equipo de jefes de cocina (un ensemble).

• El proceso: Le pidió el mismo trabajo sucio a 7 asistentes diferentes (modelos de IA de distintos tamaños y versiones).
• La repetición: Le pidió a cada uno que hiciera el trabajo dos veces.
• El resultado: En lugar de tener una sola respuesta, tuvo 14 versiones diferentes del mismo documento limpio y etiquetado.

3. Las Reglas del Juego: Cómo elegir al ganador

¿Cómo sabes cuál de las 14 respuestas es la mejor? Aquí es donde el autor inventó dos reglas de oro (métricas) para evitar que la IA se invente cosas (alucinaciones) o borre información importante:

• Regla 1: El "Ratio de Preservación del Contenido" (CPR).
  • Analogía: Imagina que tienes una foto original y una copia. Si la copia tiene un poco más de brillo o un poco menos de color, ya no es fiel. Esta regla mide cuántas letras y palabras se mantuvieron exactamente igual en la copia que en el original. Si la IA inventó una palabra o borró una frase, su nota baja. Queremos una copia idéntica, solo que limpia.
• Regla 2: La "Bienformidad de las Etiquetas" (TWF).
  • Analogía: Imagina que pones etiquetas en cajas. Si abres una caja con la etiqueta <caja>, debes cerrarla obligatoriamente con </caja>. Si dejas una caja abierta o cierras la equivocada, el sistema falla. Esta regla verifica que todas las etiquetas estén bien cerradas y ordenadas, como un código de programación perfecto.

4. El Gran Descubrimiento: No necesitas el Ferrari más caro

El autor probó modelos de IA grandes y caros (como un Ferrari) y modelos pequeños y baratos (como un coche compacto).

• Resultado sorprendente: El modelo más grande y caro (GPT-4.1) fue el mejor, sí. PERO, un modelo pequeño y barato (GPT-4.1-mini) hizo un trabajo casi idéntico, pero costó solo el 20% del precio.
• La lección: No siempre necesitas el coche más caro para llegar a tiempo. A veces, un coche más pequeño y eficiente hace el mismo trabajo por una fracción del costo.

5. ¿Para qué sirve todo esto?

Al final del proceso, tienen documentos limpios, ordenados y con etiquetas inteligentes (como <fecha>, <lugar>, <organización>).

• El resultado final: Esto permite construir un Grafo de Conocimiento. Imagina que en lugar de leer miles de documentos de papel, tienes un mapa interactivo gigante donde puedes ver cómo se conectan los países, los eventos y las decisiones de la ONU a lo largo de los años.
• Impacto: Esto hace que la información de la ONU sea legible para las máquinas, permitiendo crear sistemas de inteligencia artificial más transparentes y eficientes para el futuro.

En resumen:
El autor creó un sistema inteligente que contrata a un equipo de asistentes de IA, les pide que limpien documentos históricos sucios, y luego usa un "jurado" matemático para elegir la mejor versión, asegurándose de que no se inventen nada. Lo mejor de todo es que descubrieron que pueden hacer esto con asistentes más baratos, ahorrando mucho dinero sin perder calidad. ¡Es como limpiar una biblioteca antigua usando un equipo de limpieza eficiente en lugar de contratar a un solo experto muy costoso!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Resumen Técnico: Construcción de un Etiquetador Semántico de Ensamble con LLM para Resoluciones del Consejo de Seguridad de la ONU

1. El Problema

El documento aborda el desafío de realizar un etiquetado semántico y una limpieza de texto en las resoluciones del Consejo de Seguridad de las Naciones Unidas (CSNU), que abarcan desde 1946 hasta 2025. Los principales obstáculos identificados son:

• Calidad de los datos: Muchos documentos antiguos (pre-2000) fueron mecanografiados, escaneados y procesados mediante Reconocimiento Óptico de Caracteres (OCR), lo que genera errores tipográficos.
• Formato complejo: Hasta la década de 1980, los documentos se presentaban en dos columnas (inglés y francés), lo que dificulta el procesamiento con herramientas NLP tradicionales, ya que una sola línea de archivo puede contener fragmentos de texto de diferentes partes del documento.
• Incertidumbre de los LLM: Los Modelos de Lenguaje Grande (LLM) son estocásticos; su salida varía incluso con el mismo input y parámetros (temperatura), lo que genera desafíos de consistencia, alucinaciones (adición de texto no solicitado) u omisiones.
• Falta de métricas de evaluación: No existían medidas estandarizadas para evaluar la "fidelidad" del texto (preservación del contenido original) y la corrección estructural de las etiquetas generadas.

2. Metodología

El autor propone un sistema de ensamble que aprovecha la variabilidad de los LLM para seleccionar la mejor salida posible mediante métricas cuantitativas. El proceso se divide en dos etapas:

• A. Limpieza de Texto:

  • Se utiliza un prompt específico para convertir el formato de dos columnas a una sola, corregir errores de OCR, eliminar guiones de impresión y separar los textos en inglés y francés.
  • Se ejecutan múltiples iteraciones (2 por modelo) con una temperatura de 1 para generar variaciones de salida.

• B. Etiquetado Semántico:

  • Se aplican etiquetas XML (<location>, <entity>, <event>, <organization>, <date>) al texto limpio, preservando estrictamente el contenido original.

• C. Selección de Ensamble y Métricas:
  Para elegir la mejor salida entre las múltiples ejecuciones de varios modelos, se introducen dos métricas clave:

  1. Ratio de Preservación de Contenido (CPR - Content Preservation Ratio): Mide la fidelidad del texto. Compara la frecuencia de bigramas (pares de caracteres) entre el texto de entrada y el de salida. Un valor alto indica que no hubo omisiones ni adiciones no deseadas. Se prefiere sobre la distancia de edición mínima debido al ruido en los datos de entrada.
  2. Bienformación de Etiquetas (TWF - Tag Well-Formedness): Garantiza que cada etiqueta de apertura tenga su correspondiente cierre y que la estructura XML sea válida.
  3. Número de etiquetas (nT): Se prioriza la exhaustividad (recall) para identificar la mayor cantidad posible de entidades.

  El sistema ejecuta el flujo en 7 modelos diferentes (incluyendo variantes GPT-4.1, GPT-4o, GPT-5 y sus versiones "mini" y "nano") y selecciona automáticamente la salida con el mejor equilibrio de CPR, TWF y nT.

3. Contribuciones Clave

• Pipeline de LLM escalable: Un enfoque práctico para limpiar y etiquetar semánticamente resoluciones históricas complejas.
• Nuevas métricas de evaluación: Introducción del CPR y TWF para cuantificar la calidad de la transformación de documentos por LLM, evitando alucinaciones y errores estructurales.
• Análisis de compensación (Trade-off) Costo-Precisión: Una comparación empírica que demuestra cómo modelos más pequeños pueden ofrecer un rendimiento comparable a modelos grandes a una fracción del costo.
• Corpus anotado: Creación de un subconjunto de datos semánticamente anotados que sirve como base para la construcción de grafos de conocimiento.

4. Resultados

Los experimentos se realizaron sobre una muestra de 10 documentos históricos:

• Rendimiento en Limpieza:
  • GPT-4.1 obtuvo el mejor CPR (84.9%).
  • GPT-4.1-mini logró un rendimiento muy similar (83.5%) con un costo 5 veces menor (aprox. 20% del costo del modelo principal).
• Rendimiento en Etiquetado Semántico:
  • GPT-4.1 alcanzó CPR del 99.99% y TWF del 99.92%.
  • GPT-5.1 mostró resultados comparables (CPR 99.95%, TWF 99.91%).
  • GPT-4.1-mini nuevamente demostró ser altamente eficiente, logrando CPR del 99.92% y TWF del 99.64% a un costo de $0.0033 por documento (aprox. 19% del costo de GPT-4.1).
• Eficiencia: Los modelos "nano" son más rápidos pero menos precisos en tareas de limpieza complejas. Los modelos "mini" ofrecen el mejor equilibrio entre costo y calidad.

5. Significado e Impacto

• Viabilidad Económica: El estudio demuestra que es posible construir sistemas de procesamiento de datos masivos utilizando modelos LLM más pequeños y económicos sin sacrificar significativamente la calidad, lo que resulta en ahorros comerciales masivos.
• Construcción de Grafos de Conocimiento: El corpus resultante, estructurado en XML (compatible con estándares como Akoma Ntoso), permite la construcción de grafos de conocimiento robustos para el CSNU, facilitando la recuperación de información sobre entidades, mandatos y eventos.
• Enfoque Controlado: Proporciona una prueba de concepto para utilizar LLMs de manera controlada, medible y predecible en tareas de ingeniería de datos, reduciendo la dependencia de la anotación manual costosa y propensa a errores.
• Futuro: El trabajo sienta las bases para un sistema de ensamble más sofisticado que integre las salidas de múltiples modelos para aumentar la confianza en las etiquetas identificadas y estandarizar completamente la legibilidad por máquinas de los documentos de la ONU.