💬 NLP

REAP: Relation-Aware Elicitation and Parsing for Closed-Book Knowledge Base Construction from LLMs

El sistema REAP, construido sobre un modelo Mistral de 24 mil millones de parámetros sin ajuste fino, logra una puntuación macro-F1 de 0,62 en la Tarea Compartida AKBC 2026 mediante el empleo de un razonamiento de cadena de pensamiento estructurado, consultas específicas de relación y una compuerta de conjunto vacío basada en el razonamiento para extraer y analizar el conocimiento paramétrico en arreglos JSON válidos.

Autores originales: Thanh-Dan Bui, Thanh-Trung Do, Tuan-Phong Nguyen

Publicado 2026-08-12

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Thanh-Dan Bui, Thanh-Trung Do, Tuan-Phong Nguyen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un amigo que ha leído casi todos los libros del mundo y ha memorizado una cantidad asombrosa de datos, desde la capital de Francia hasta el número de estrellas en una galaxia específica. Este amigo es un "Modelo de Lenguaje Extenso" (LLM). Normalmente, cuando le haces una pregunta sencilla como "¿Quién ganó el Premio Nobel?", te da una respuesta rápida. Pero, ¿qué pasaría si le pidieras que enumerara cada una de las personas que han ganado ese premio, o que le dijeras exactamente qué países comparten una frontera terrestre con una pequeña nación isleña? De repente, la tarea se vuelve mucho más difícil. El amigo podría olvidar algunos nombres, inventar un ganador falso o confundirse sobre si una isla tiene siquiera vecinos.

Este es el desafío de la "Construcción de Bases de Conocimiento". Los científicos quieren convertir estos cerebros gigantes llenos de datos en bases de datos organizadas que las computadoras puedan usar de manera confiable. La parte difícil es que el amigo (la IA) no tiene una biblioteca para consultar; tiene que confiar enteramente en lo que tiene dentro de su cabeza (sus "parámetros"). Si la respuesta es "nadie", el amigo debe saber decir "vacío" en lugar de adivinar. Si la respuesta es una lista larga, necesita obtener cada uno de los elementos correctamente sin omitir ninguno. Este artículo aborda el problema de cómo hacerle las preguntas adecuadas a estos amigos de IA para obtener listas perfectas y organizadas sin permitir que alucinen o se confundan.

El Sistema REAP: Una Guía de Detective para la Memoria de la IA

Conoce a REAP (Elicitación y Análisis Sensibles a la Relación). Piensa en REAP no como un simple preguntador, sino como un astuto equipo de detectives trabajando con un testigo muy inteligente, pero a veces disperso (el modelo de IA). ¿El objetivo? Construir una lista perfecta y organizada de hechos de la memoria del testigo sin permitir que invente cosas.

Los investigadores descubrieron que si simplemente le preguntas a la IA: "Enumera todos los países que limitan con X", esta podría sentirse abrumada, olvidar algunos o inventar accidentalmente una frontera que no existe. Es como pedirle a un estudiante que recite un capítulo entero de un libro de texto de un solo aliento; podría tropezar. En su lugar, REAP divide el trabajo en dos etapas distintas, como un proceso de entrevista de dos pasos.

Etapa 1: El Interrogatorio del Detective (Razonamiento)
En la primera etapa, REAP no solo pide la respuesta. Le pide a la IA que piense antes de hablar. Dependiendo del tipo de pregunta, el detective utiliza una estrategia especial:

Para Fronteras: En lugar de preguntar "¿Quién limita con este?", se le dice a la IA que actúe como un experto en geografía y escanee el mapa en cuatro direcciones (Norte, Sur, Este, Oeste) para asegurarse de que no se pase por alto ningún vecino pequeño.
Para Premios: Si la IA necesita enumerar ganadores de premios, no adivina. Divide el tiempo en décadas, preguntando: "¿Quién ganó en la década de 1970? ¿Quién ganó en la de 1980?". Esto asegura que la IA no se salte una era completa.
La Puerta del "Conjunto Vacío": Este es un elemento de seguridad crucial. A veces la respuesta es "nadie" (como una persona viva que aún no ha muerto, o una empresa privada que no cotiza en la bolsa). REAP enseña a la IA a reconocer cuándo una propiedad no existe y a decir con confianza: "La lista está vacía", en lugar de inventar un nombre falso.

Etapa 2: La Limpieza del Escriba (Análisis/Parsing)
Una vez que la IA ha terminado de pensar y ha generado una lista de hechos desordenada, entra en juego la Etapa 2. Este es el escriba que limpia las notas. El sistema utiliza reglas estrictas para capturar las respuestas y formatearlas perfectamente en una lista JSON (un formato estándar de computación). Si la IA se confunde y escribe una oración en lugar de una lista, el escriba intenta corregirla. Si no se puede corregir, el sistema intenta la pregunta de nuevo con un prompt más sencillo.

Lo que Encontraron

Los investigadores probaron este sistema utilizando un modelo de IA específico llamado Mistral-Small-24B-Instruct-2501, que tiene unos 24 mil millones de "células cerebrales" (parámetros). Trabajaban bajo reglas estrictas: sin buscar información en internet, sin cambiar el cerebro de la IA (sin ajuste fino/fine-tuning) y utilizando un modelo con no más de 32 mil millones de parámetros.

Los resultados fueron bastante prometedores. En un conjunto de pruebas de preguntas difíciles, el sistema REAP logró una puntuación macro-F1 de 0.62. Para ponerlo en perspectiva, esto fue significativamente mejor que el sistema base de los organizadores (que obtuvo 0.30) y mejor que usar otros modelos de IA populares como Lema o Gemma con el mismo método.

El sistema brilló más en tipos específicos de preguntas:

Fronteras de Países: Obtuvo una puntuación de 0.95, lo que significa que fue casi perfecto al enumerar países vecinos.
Bolsas de Valores: Obtuvo una puntuación de 0.73 para encontrar dónde se negocian las empresas.
Área: Obtuvo una puntuación de 0.77 para calcular el tamaño de áreas geográficas.

Sin embargo, el sistema no fue perfecto en todas partes. Le costó un poco más con la capacidad de recintos (obteniendo una puntuación de 0.23), confundiendo a menudo un estadio local pequeño con uno famoso que tiene un nombre similar. Los investigadores sugieren que esto se debe a que la memoria interna de la IA no siempre es lo suficientemente precisa para números muy específicos o datos de "cola larga" (long-tail) poco comunes.

Lo que Esto Significa (y lo que No Significa)

El artículo sugiere que la clave para obtener mejores respuestas de la IA no es solo tener un cerebro más grande, sino hacer las preguntas correctas de la manera correcta. Al obligar a la IA a "pensar paso a paso" (usando el razonamiento de Cadena de Pensamiento o Chain-of-Thought) y darle estrategias específicas para diferentes tipos de datos, el sistema puede extraer información mucho más precisa.

Sin embargo, los autores advierten que esto no es una solución mágica. El sistema sigue dependiendo enteramente de lo que la IA ha memorizado. Si la IA no conoce un dato sobre una entidad muy rara (como una pequeña isla o un premio menor), el sistema no puede inventarlo. Además, debido a que la IA se ejecuta en chips de computadora específicos (TPUs), hay un pequeño toque de aleatoriedad en los resultados, aunque es lo suficientemente pequeño como para no cambiar el panorama general.

En resumen, REAP demuestra que con un poco de estructura y mucha paciencia, podemos extraer hechos mucho más confiables de nuestros amigos de IA, convirtiendo sus memorias caóticas en listas ordenadas y utilizables.

Resumen Técnico: REAP – Elicitación y Procesamiento con Conciencia de Relación para la Construcción de Bases de Conocimiento de Libro Cerrado

Definición del Problema

El artículo aborda la Tarea Compartida AKBC 2026, que se centra en la construcción de bases de conocimiento a partir de Modelos de Lenguaje Extensos (LLMs) bajo restricciones estrictas. El desafío central es la Construcción de Bases de Conocimiento de Libro Cerrado (KBC): los sistemas deben operar sin generación aumentada por recuperación (RAG) o conocimiento externo, utilizando modelos con un máximo de 32 mil millones de parámetros y sin ajuste fino (fine-tuning).

A diferencia del sondeo de hechos estándar, que a menudo asume una única respuesta correcta, esta tarea requiere manejar la cardinalidad variable para pares sujeto-relación $(s, r)$ . La salida debe ser un arreglo JSON válido que represente:

Conjuntos vacíos ( $\emptyset$ ): p. ej., un país sin fronteras terrestres (islas) o una persona viva.
Objetos de valor único: p. ej., la ciudad de muerte de una persona fallecida.
Objetos de múltiples valores: p. ej., todas las bolsas de valores en las que opera una empresa o todos los receptores de un premio.

La dificultad radica en recordar simultáneamente listas de hechos potencialmente largas, manejar valores cuantitativos precisos y adherirse a un esquema JSON estricto sin alucinar entidades u omitir respuestas válidas.

Metodología: El Sistema REAP

Los autores proponen REAP (Relation-Aware Elicitation and Parsing), un pipeline de dos etapas diseñado para desacoplar la elicitación de hechos del serializado de respuestas.

1. Descripción General de la Arquitectura

Etapa 1 (Generación y Razonamiento): El LLM genera evidencia o cadenas de razonamiento adaptadas a relaciones específicas. Si la salida es imposible de procesar, el sistema emplea mecanismos de reintento o prompts de respaldo.
Etapa 2 (Procesamiento y Extracción): El sistema extrae la respuesta final en un arreglo JSON. Esto se realiza principalmente mediante procesamiento determinista por expresiones regulares (manejando aproximadamente el 80% de los registros) para asegurar el cumplimiento del formato. La extracción basada en LLM se reserva como un respaldo para salidas complejas.

2. Diseño de Prompts Específicos por Relación

REAP emplea estrategias especializadas para las seis relaciones objetivo, yendo más allá del prompting genérico:

awardWonBy (Pasadas Múltiples Cronológicas): Para mejorar la recuperación de premios con cientos de receptores, el sistema utiliza seis prompts distintos: una pasada general y cinco pasadas auxiliares que cubren décadas específicas (inicio–década de 1970, 1980–1990, 2000–2010, 2020+ y una pasada para receptores no occidentales o menos prominentes).
countryLandBordersCountry (Escaneo de Cuatro Direcciones): El modelo actúa como un experto en geografía, escaneando explícitamente los límites Este, Oeste, Sur y Norte del sujeto para capturar vecinos pequeños y territorios desprendidos, mientras excluye explícitamente las fronteras marítimas.
companyTradesAtStockExchange (Verificación de Cuatro Pasos): Incluye una "Verificación Estricta de Empresa Pública" (Puerta de Conjunto Vacío) para identificar empresas privadas o subsidiarias, devolviendo un conjunto vacío si la entidad no cotiza en bolsa.
hasArea y hasCapacity: Utilizan razonamiento de cadena de pensamiento (CoT) de múltiples pasos para desambiguar entidades (p. ej., distinguir un recinto específico de un homónimo de la ciudad), normalizar unidades (convirtiendo a $km^2$ ) y verificar valores contra rangos plausibles.
personHasCityOfDeath: Un proceso de razonamiento de cinco pasos que primero verifica si el sujeto está vivo (activando un conjunto vacío) antes de resolver la ambigüedad del nombre y recuperar la ciudad de muerte.

3. Componentes Clave

Puerta de Conjunto Vacío Basada en el Razonamiento: Inspirado en la predicción selectiva, el sistema utiliza CoT para decidir explícitamente si existe una respuesta. Si la evidencia es insuficiente o la propiedad no aplica (p. ej., una persona viva), el modelo genera FINAL_ANSWER: [] en lugar de alucinar un valor.
Procesamiento Híbrido: El sistema prioriza la extracción determinista por regex sobre la generación por LLM para el formato JSON final, con el fin de minimizar las violaciones de esquema.
Post-procesamiento: Incluye extracción robusta de arreglos, normalización numérica (eliminación de separadores de miles) y filtrado de ruido (eliminación de honoríficos como "Dr." o "Sir" y calificadores entre paréntesis).

Configuración Experimental

Modelos Evaluados: Gemma-2-9B-it, Llama-3.1-8B-Instruct, y Mistral-Small-24B-Instruct-2501 (seleccionado como el modelo principal).
Hardware: TPU v5e-8 con servicio vLLM.
Datos: Divisiones de entrenamiento, validación y prueba proporcionadas por los organizadores de la tarea, cubriendo los tres casos de cardinalidad (0, 1, N).
Métricas: Macro-F1, Micro-F1, Precisión y Recall. Las relaciones cuantitativas utilizan una tolerancia relativa del 5%.

Resultados

Rendimiento en Conjuntos de Validación y Prueba

Línea Base Zero-Shot: Sin el pipeline REAP, los modelos tuvieron dificultades significativas (Macro-F1 $\approx$ 0.38–0.43), resaltando la dificultad de la recuperación simultánea de hechos y la adherencia al formato.
Impacto del Pipeline REAP: El pipeline de dos etapas mejoró significamente el rendimiento en todos los modelos.
- Mistral-24B logró los mejores resultados, mejorando de 0.43 (zero-shot) a 0.65 en el conjunto de validación.
- En el conjunto de prueba oficial, el sistema Mistral-24B alcanzó un Macro-F1 general de 0.62.
- Rendimiento por Relación:
  - Más fuerte: countryLandBordersCountry (F1 = 0.95), companyTradesAtStockExchange (F1 = 0.73) y hasArea (F1 = 0.77).
  - Más débil: hasCapacity (F1 = 0.23), donde la confusión entre recintos con nombres similares y los estrictos umbrales de tolerancia provocaron errores.
- Comparación: El sistema más que duplicó la línea base de los organizadores (Qwen3.5-9B, F1 = 0.30) y superó a los pipelines de Llama-3.1-8B y Gemma-2-9B.

Estudio de Ablación

El estudio confirmó la necesidad de cada componente:

La eliminación de la Descomposición de Tareas (consultas de múltiples pasadas) causó una caída de 0.06 en el Macro-F1, con una pérdida severa de recuperación en relaciones de múltiples valores.
La eliminación de la Puerta de Conjunto Vacío redujo el Macro-F1 en 0.08 debido a alucinaciones en entidades no contestables.
La eliminación total del Razonamiento CoT causó la mayor caída (0.22), reduciendo el rendimiento a niveles de zero-shot, demostando que el razonamiento estructurado es el principal motor del éxito.

Significado y Reivindicaciones

El artículo sostiene que el razonamiento estructurado es esencial para la elicitación confiable del conocimiento paramétrico en entornos de KBC de libro cerrado. Las conclusiones clave incluyen:

La Desacoplamiento es Efectivo: Separar el "pensamiento" (elicitación) del "formateo" (procesamiento) reduce significamente las alucinaciones y las violaciones de esquema.
La Conciencia de la Relación Importa: El prompting genérico falla en tareas de cardinalidad variable; se requieren estrategias especializadas (escaneos geográficos, pasadas cronológicas) para maximizar la recuperación.
Límites de la Capacidad del Modelo: Aunque los prompts de razonamiento ayudan, existe una brecha de rendimiento clara entre los modelos de 9B y 24B, lo que sugiere que los modelos más grandes se benefician más de los pipelines estructurados, particularmente para entidades de larga cola.
Límites del Conocimiento Paramétrico: El sistema reconoce que incluso con un prompting avanzado, el conocimiento para entidades muy raras permanece incompleto, y la precisión cuantitativa está limitada por la representación interna del modelo.

Los autores concluyen que REAP demuestra un camino viable para construir bases de conocimiento a partir de LLMs sin ajuste fino ni recuperación externa, siempre que el sistema emplee un razonamiento riguroso y específico de la relación y un procesamiento determinista.