Resumen Técnico: Beyond Questions (BeQu)

Declaración del Problema

Las evaluaciones actuales para medir el conocimiento de los Modelos de Lenguaje Grande (LLM) dependen en gran medida de pares predefinidos de pregunta-respuesta (QA). Los autores argumentan que este paradigma adolece de un sesgo de disponibilidad fundamental: solo puede evaluar el conocimiento que los diseñadores de la evaluación eligen consultar explícitamente. En consecuencia, los hechos fuera del alcance de estas preguntas permanecen invisibles, y un alto rendimiento en dichas evaluaciones no implica necesariamente un conocimiento amplio y general. Además, las evaluaciones QA existentes enfrentan problemas de saturación, filtración de datos y sensibilidad a los prompts. Aunque el trabajo reciente sobre "materialización del conocimiento" intenta extraer conocimiento mediante prompts de código abierto, no existe un marco sistemático para evaluar la fiabilidad, la precisión y la exhaustividad de dicha elicitación de conocimiento abierto.

Metodología: La Evaluación BeQu

El artículo introduce la Evaluación de Conocimiento Abierto, un paradigma que desplaza el enfoque de recuperar respuestas a consultas fijas hacia la caracterización del conocimiento que los modelos exponen naturalmente en respuesta a prompts de código abierto (por ejemplo, "Cuéntame todo lo que sabes sobre X"). Esto se materializa mediante BeQu (Beyond Questions), una evaluación que comprende 10.000 entidades y 6 GB de corpus de referencia.

Construcción de la Evaluación

1. Selección de Entidades: Se definen tres subconjuntos:
   • Aleatorio: 10.000 artículos de Wikipedia filtrados por longitud, número de afirmaciones en Wikidata y no ambigüedad, y luego puntuados por un juez LLM (Llama 4 Scout) en cuanto a informatividad y adecuación.
   • Dominios: 100 entidades por cada uno de los 10 dominios (por ejemplo, Persona, Organización, Evento).
   • Inexistentes: 10 entidades falsas creadas manualmente para probar las alucinaciones.
2. Construcción del Corpus de Referencia: Para cada entidad, se construye un corpus de referencia a partir del artículo completo de Wikipedia y hasta 20 documentos web (mediante la API de Brave Search). Un LLM extrae triples factuales (sujeto, predicado, objeto) de estas fuentes para servir como verdad fundamental.
3. Protocolo de Evaluación: La evaluación trata la salida del modelo como un conjunto de triples elicados y los compara con el corpus de referencia utilizando Entailment Textual (Inferencia de Lenguaje Natural) mediante un juez LLM.
   • Precisión: Mide la fracción de triples generados por el modelo que son entailed por el corpus de referencia.
   • Exhaustividad (Recall): Mide la fracción de triples de referencia que son entailed por los triples generados por el modelo.
   • Métricas: Precisión de Entailment, Exhaustividad y Puntuación F1.

Contribuciones Clave

1. Cambio de Paradigma: Introducción de la Evaluación de Conocimiento Abierto, que va más allá de los pares QA predefinidos para evaluar la expresión de conocimiento mediante elicitación abierta.
2. Evaluación BeQu: Una evaluación a gran escala con 10.000 entidades y corpus de referencia diseñada para medir tanto la precisión como la exhaustividad del conocimiento generado.
3. Análisis Empírico: Un estudio exhaustivo en 20 modelos (comerciales y de código abierto) que analiza los efectos del esfuerzo de razonamiento, la escala del modelo, el formato del prompt y el dominio de conocimiento.

Resultados Experimentales

1. Clasificación de Modelos y Escalado

• Rendimiento: Los modelos comerciales dominan generalmente los primeros puestos (por ejemplo, Claude Opus 4.6, Kimi K2.5, Gemini 3 Flash), aunque varios modelos de pesos abiertos se acercan notablemente.
• Escalado: Las puntuaciones F1 aumentan generalmente con el tamaño del modelo dentro de las familias (por ejemplo, Anthropic, OpenAI, Google). Sin embargo, los efectos del escalado varían: los modelos más grandes a menudo muestran mayor exhaustividad pero, a veces, menor precisión.
• Frontera Precisión-Exhaustividad: Existe un claro compromiso; ningún modelo logra simultáneamente alta precisión y alta exhaustividad. Los modelos se agrupan en "alta precisión/baja exhaustividad" (por ejemplo, GPT-5 Nano) o "alta exhaustividad/precisión moderada" (por ejemplo, Claude Opus 4.6). Las puntuaciones F1 líderes se impulsan principalmente por la exhaustividad, lo que sugiere que el factor limitante es a menudo la incapacidad del modelo de afirmar hechos conocidos en lugar de afirmar hechos incorrectos.

2. Esfuerzo de Razonamiento

• Impacto Mínimo: Variar el esfuerzo de razonamiento (bajo, medio, alto) en modelos como Claude Opus 4.6, GPT-5.4 y Gemini 3.1 Pro resultó en cambios insignificantes en las puntuaciones F1 generales (variaciones < 0.05). Esto sugiere que el conocimiento factual está en gran medida codificado y recuperado sin requerir pasos de razonamiento explícitos y laboriosos.

3. Dominio y Alucinación

• Variación por Dominio: El rendimiento varía según el dominio. "Evento" y "Concepto Científico" obtuvieron las puntuaciones más altas, mientras que "Persona" fue el más débil para todos los modelos probados, impulsado principalmente por una baja exhaustividad.
• Alucinación: En entidades inexistentes, solo GPT-5.4 se abstuvo completamente de generar triples. Otros modelos (DeepSeek V3.2, Llama 4 Scout) alucinaron números significativos de triples.

4. Formato del Prompt y Restricciones

• Restricciones de Esquema: Imponer esquemas de salida estandarizados (por ejemplo, Wikidata, Schema.org) mejoró sustancialmente la precisión, pero colapsó drásticamente la exhaustividad.
• Abierto vs. Restringido: Los prompts de código abierto arrojaron las mejores puntuaciones F1 generales.
• Listas de Predicados: Las listas de predicados predefinidas fueron el factor dominante en el compromiso precisión-exhaustividad; eliminarlas recuperó una exhaustividad sustancial a un costo modesto de precisión.

5. Rango de Triples

• Rendimientos Decrecientes: Aumentar el número solicitado de triples por entidad mejoró la exhaustividad y la F1 hasta cierto punto (por ejemplo, GPT-5.4 alcanzó su punto máximo entre 75 y 150 triples), después del cual el rendimiento se estancó o se degradó debido a alucinaciones. Esto indica que los modelos poseen conocimiento latente no expresado completamente cuando se restringen a volúmenes de salida pequeños.

Significado y Afirmaciones

El artículo afirma que BeQu proporciona un complemento necesario a las evaluaciones existentes basadas en QA al abordar el sesgo de disponibilidad y medir el espectro completo de la expresión de conocimiento (tanto lo que los modelos saben como lo que eligen decir).

Las conclusiones clave enfatizadas por los autores incluyen:

• Durabilidad de la Evaluación: La generación de conocimiento abierto está lejos de estar saturada, y los modelos de código abierto son competitivos con los comerciales en este paradigma.
• La Tarea "Irracional": A diferencia de otras tareas, el esfuerzo de razonamiento explícito ofrece beneficios insignificantes para la expresión de conocimiento abierto.
• Compromisos: Aunque la imposición de esquemas aumenta la precisión, perjudica significativamente la exhaustividad, y los intentos explícitos de intercambiar precisión por exhaustividad mediante prompts tienen un efecto limitado.
• Estandarización: Los autores proponen que la evaluación de conocimiento abierto debería convertirse en una dimensión estándar de la evaluación de LLM junto con la QA convencional.

Los autores reconocen limitaciones, principalmente la dependencia de un LLM como juez (Llama 4 Scout) para el entailment, lo que puede propagar sesgos sistemáticos, y el uso de subconjuntos muestreados (200 entidades) para la mayoría de los experimentos debido a restricciones computacionales.