Know2Guess: A Contamination-Aware Multi-Zone Benchmark for Knowledge-Boundary Evaluation in Large Language Models

Resumen Técnico: Know2Guess

Planteamiento del Problema
La evaluación actual de los Modelos de Lenguaje de Gran Escala (LLMs) a menudo confunde la respuesta sustentada con el conjeturar sin sustento, fallando al distinguir entre la incertidumbre epistémica (no saber) y la negativa por política (elegir no responder). Los benchmarks existentes suelen medir la precisión bruta, la veracidad o las alucinaciones de forma aislada, o dependen de evaluaciones dinámicas que no proporcionan un protocolo congelado para separar los elementos con respuesta posible de los desconocidos donde se espera la abstención. Además, los riesgos de contaminación de datos pueden inflar las métricas de rendimiento, desdibujando la línea entre la memorización y la generalización. Existe una falta de un marco unificado que rastree simultáneamente el riesgo de contaminación, distinga entre la "abstención productiva" (identificar correctamente lo desconocido) y la "negativa por política", y evalúe el comportamiento del modelo bajo una estricta interpretación de comandos (parsing) y variaciones de prompts.

Metodología
El artículo presenta Know2Guess, un benchmark multizona consciente de la contaminación que contiene 1,200 ítems en cinco dominios: sentido común, cultura general, medicina, razonamiento de múltiples saltos (multi-hop reasoning) y ciencia.

• Construcción de Zonas: Los ítems se asignan a cuatro zonas congeladas de construcción:
  • Zonas A–C (Se espera respuesta): Contienen ítems públicos reales. La Zona A tiene alta popularidad de respuesta; la Zona B tiene menor popularidad; la Zona C consiste en ítems públicos transformados (parafraseados, comprimidos o reordenados) diseñados para aumentar la dificultad del límite preservando la respuesta de oro (gold answer).
  • Zona D (Se espera abstención): Son desconocidos sintéticos construidos con estilos de sintaxis y de dominio que coinciden con el grupo de ítems públicos reales, pero que contienen entidades o eventos sin sustento. Están diseñados para probar si un modelo puede abstenerse sin recurrir a la negativa por política.
• Metadatos de Contaminación: Cada ítem está etiquetado con un nivel de riesgo de contaminación (bajo, medio, alto) basado en el solapamiento léxico con corpus conocidos y la saliencia de la respuesta, permitiendo un análisis por segmentos (slice-based analysis).
• Protocolo de Evaluación: Los modelos se evalúan bajo dos condiciones primarias:
  1. Responder o Abstenerse (Answer-or-Abstain): Un prompt estructurado que permite explícitamente al modelo abstenerse si no está seguro.
  2. Solo Responder (Control - Answer-Only): Un prompt que instruye al modelo a conjeturar si no está seguro, impidiendo la abstención.
• Interpretación (Parsing) y Métricas: Un parser estricto oficial extrae las decisiones (RESPONDER, ABSTENERSE, NEGAR) y las puntuaciones de confianza. Se utiliza un parser normalizado para el análisis de robustez para manejar defectos de formato sin alterar la semántica de la decisión.
  • Métrica Primaria: Confiabilidad (Reliability), que recompensa la respuesta correcta en las Zonas A–C y la abstención correcta en la Zona D.
  • Métricas Secundarias: Precisión de respuesta, tasa de abstención productiva, tasa de negativa, Error de Calibración Esperado (ECE) y nitidez del límite (la brecha de rendimiento entre ítems con respuesta difícil e incógnitas).

Resultos Clave
El benchmark fue evaluado en variantes de FLAN-T5, Qwen2.5-Instruct (1.5B, 3B) y Llama-3-8B-Instruct.

• Rendimiento Base: Los modelos FLAN-T5 demostraron capacidades débiles de abstención productiva, siendo que FLAN-T5-Base y Large lograron cero abstención productiva bajo el parser estricto.
• Modelos Ajustados por Instrucciones (Instruction-Tuned): Modelos más fuertes (Qwen2.5-3B y Llama-3-8B) mostraron una transición selectiva de responder a abstenerse, pero no resolvieron el problema.
  • Qwen2.5-3B-Instruct logró la mayor confiabilidad general (0.3657) y una alta abstención productiva en la Zona D (0.9249). Sin embargo, tuvo dificultades significativas en las Zonas A–C (confiabilidad ~0.13–0.34) y exhibió una pobre calibración (ECE ~0.59).
  • Llama-3-8B-Instruct mostró una mayor precisión en ítems públicos con respuesta, pero fue menos selectivo en las incógnitas y más propenso a la negativa por política en ítems benignos, resultando en una menor confiabilidad general (0.3407).
• Experimentos de Control: Eliminar la opción de abstenerse (Control de Solo Responder) causó un colapso agudo en la confiabilidad para todos los modelos, confirmando que el benchmark mide el comportamiento de toma de decisiones en lugar de solo el recuerdo de hechos.
• Robustez: Los rankings principales y las conclusiones cualitativas se mantuvieron estables bajo la normalización del parser, las variaciones de plantillas de prompt y el reponderado de métricas sensible al costo.
• Análisis de Errores: Las auditorías cualitativas revelaron que los principales modos de falla fueron la abstención innecesaria en ítems donde se esperaba respuesta (28.3%) y las alucinaciones confiadas (24.2%), seguidas de la negativa por política en ítems benignos.

Significancia y Reivindicaciones
Los autores declaran explícitamente que el benchmark no pretende afirmar que la confiabilidad consciente de la abstención haya sido "resuelta". En su lugar, la significancia de Know2Guess radica en proporcionar un protocolo reproducible para auditar los LLMs a través de dimensiones distintas pero interactivas: capacidad de respuesta, abstención, negativa y contaminación.

El artículo argumenta que los modelos actuales exhiben una "transición selectiva pero incompleta" de responder a abstenerse. Si bien pueden abstenerse eficazmente en desconocidos sintéticos, fallan al calibrarse en ítems difíciles con respuesta esperada y a menudo confunden la negativa por política con la cautela epistémica. Al congelar las etiquetas de tiempo de construcción y separar la negativa de la abstención, el benchmark ofrece un protocolo más estricto para diagnosticar si un modelo es conocedor, excesivamente confiado, excesivamente conservador o desalineado con la estructura de decisión requerida para un despliegue confiable. El conjunto de datos y el protocolo se ponen a disposición pública para facilitar la auditoría de estos modos de falla específicos.