Resumen Técnico: Calibración de Certificados de Ignorancia Estructurada para el Diagnóstico de Incógnitas Desconocidas en Modelos de Razonamiento

1. Planteamiento del Problema

Los modelos de lenguaje de gran tamaño (LLM) fallan frecuentemente de una manera específica al encontrarse con preguntas que están más allá de su distribución de entrenamiento: en lugar de reconocer su ignorancia, producen respuestas fluidas pero incorrectas (alucinaciones). Este problema es particularmente agudo respecto a las "incógnitas desconocidas" (unknown unknowns): brechas de conocimiento que el modelo ni siquiera reconoce como existentes. Si bien trabajos previos se han centrado en la calibración de la confianza para "incógnitas conocidas" (casos donde el modelo reconoce un dominio pero carece de confianza) o en la predicción selectiva (abstenerse sin explicación), existe una falta de métodos sistemáticos para producir salidas estructuradas y accionables cuando una consulta cae completamente fuera de la cobertura representacional del modelo.

2. Metodología

2.1. Construcción del Conjunto de Datos de Incógnitas Desconocidas (UU)

Para abordar la escasez de datos para las "incógnitas desconocidas", los autores construyeron un conjunto de datos de 7.347 preguntas trans-dominio.

• Fuente: Las preguntas fueron curadas de siete dominios distintos: física, biología, ingeniería, ciencias de la computación, economía, medicina y derecho, obtenidas de StackExchange y MedQA-USMLE.
• Síntesis: Utilizando un pipeline que emplea prompts de Qwen3-14B, los autores unieron pares de preguntas de diferentes dominios (21 pares posibles) para crear consultas novedosas que requieren una integración genuina de conceptos de ambos campos.
• Filtrado: Solo se retuvieron las muestras si el modelo generador expresaba una alta "confianza de uu" (>0.4) de que la pregunta era inabordable por un experto de un solo dominio.
• Robustez: Un pipeline de análisis (parsing) de JSON de múltiples etapas logró una tasa de éxito del 99.3% en la extracción de muestras válidas del proceso de generación.

2.2. Certificados de Ignorancia Estructurada (SIC)

El esquema de salida central es el Certificado de Ignorancia Estructurada (SIC), un objeto JSON diseñado para transformar la evasión vaga en metadatos epistémicos operativos. Un SIC contiene cuatro campos:

1. Intersección Faltante: Una descripción en lenguaje natural de la brecha conceptual.
2. Conceptos Requeridos: Conceptos específicos nombrados de cada dominio, puntuados mediante una Puntuación de Especificidad del Certificado (CSS).
3. Consulta de Recuperación: Una cadena de búsqueda dirigida destinada a desbloquear la respuesta, puntuada mediante ROUGE-L contra los conceptos de referencia (ground-truth).
4. Confianza de la Ignorancia: Un escalar en el intervalo [0, 1].

2.3. Entrenamiento mediante Optimización de Política Relativa de Grupo (GRPO)

Los autores ajustaron un modelo de 14 mil millones de parámetros (Qwen3-14B) utilizando adaptadores LoRA y cuantización de 4 bits.

• Algoritmo: Se seleccionó GRPO por su eficiencia de memoria, evitando la necesidad de una función de valor separada mediante el uso de recompensas relativas intra-grupo.
• Función de Recompensa: Se definió una recompensa compuesta $R(c, r)$ para optimizar tres objetivos:
  • Utilidad de Recuperación (50%): Puntuación ROUGE-L entre la consulta de recuperación generada y los conceptos de referencia.
  • Especificidad de Concepto (30%): Basada en el número de conceptos requeridos enumerados (con saturación en 4).
  • Validez de Formato (20%): Recompensa binaria por la salida JSON válida.
• Entrenamiento: El modelo fue entrenado durante 500 pasos en una única GPU NVIDIA A100.

2.4. Evaluación mediante Sonda de Divergencia de Paráfrasis

Para verificar que el estado interno del modelo refleja el cambio epistémico pretendido, se entrenó una "sonda de divergencia de paráfrasis".

• Hipótesis: La incertidumbre interna de un modelo se revela mediante respuestas inconsistentes a las paráfrasis de una misma pregunta.
• Método: La sonda genera $K=5$ paráfrasis de una pregunta, calcula los embeddings de las respuestas y extrae características de divergencia (divergencia media, divergencia máxima, etc.).
• Clasificación: Se entrenó un clasificador de regresión logística para distinguir entre Conocidos-Conocidos (KK), Conocidos-Desconocidos (KU) e Incógnitas Desconocidas (UU).

3. Contribuciones Clave

1. Dataset de UU: Un pipeline escalable para generar 7.347 preguntas trans-dominio que requieren la integración de conocimientos de dos campos distintos, con una tasa de éxito de análisis del 99.3%.
2. Esquema SIC: Un formato de salida JSON que obliga a los modelos a nombrar explícitamente las intersecciones de dominio faltantes, enumerar conceptos específicos y proponer consultas de recuperación, en lugar de alucinar respuestas.
3. Entrenamiento basado en GRPO: Un enfoque de ajuste fino utilizando una recompensa compuesta (utilidad de recuperación, especificidad, validez de formato) que logra instaurar capacidades de generación de ignorancia estructurada en un modelo de 14B.

4. Resultados

La evaluación se realizó sobre 735 preguntas de UU no vistas (held-out).

• Adherencia al Formato: El modelo alcanzó una tasa de validez de JSON del 99.46%, demostrando un aprendizaje fiable de las restricciones estructurales.
• Especificidad: La media de la Puntuación de Especificidad del Certificado (CSS) fue de 0.967, lo que indica que el modelo generó consistentemente al menos cuatro conceptos requeridos por certificado.
• Utilidad de Recuperación: La media de la Puntuación de Productividad (SPS, basada en ROUGE-L) fue de 0.178. Aunque modesta, esto refleja la dificultad del solapamiento léxico con etiquetas de conceptos abiertos.
• Cambio Epistémico: La sonda de divergencia de paráfrasis confirmó que las salidas ajustadas con SIC exhibieron puntuaciones de probabilidad de "incógnita desconocida" más altas (media de 0.389) en comparación con la línea base aleatoria (0.333), lo que sugiere que el modelo se desplazó hacia el régimen de UU.
• Ablación: En comparación con el modelo base, el modelo ajustado con SIC mostró una mejora relativa del 3.6% en las puntuaciones de ROUGE-L para la generación fundamentada en recuperación (0.0436 vs. 0.0421), con un 27% de las muestras mostrando deltas positivos.

5. Significación y Limitaciones

Significación:
El artículo demuestra que la "estructuración epistémica explícita" es una capacidad aprendible y medible. Al entrenar a los modelos para producir SICs, el marco permite que los LLM degraden su rendimiento de forma controlada en los límites del conocimiento en lugar de confabular. Esto sirve como un planificador de pre-recuperación para sistemas de Generación Aumentada por Recuperación (RAG), donde el campo de "consulta de recuperación" proporciona una cadena de búsqueda dirigida fundamentada en un diagnóstico explícito de la brecha de conocimiento.

Limitaciones:

• Precisión de la Sonda: La sonda de divergencia de paráfrasis alcanzó solo un 44.9% de precisión en la clasificación de tres vías, siendo el límite entre KK y KU ambiguo.
• Cobertura de Dominio: El dataset de UU está limitado a siete dominios predefinidos y puede no cubrir campos interdisciplinarios emergentes.
• Proxy de Recompensa: La recompensa de utilidad de recuperación depende de ROUGE-L contra cadenas de conceptos concatenadas, lo cual es un proxy léxico que puede no capturar la equivalencia semántica.
• Generalización: Los experimentos se limitaron a una única familia de modelos de 14B (Qwen3); la generalización a otras escalas y arquitecturas sigue sin probarse.
• Integración: No se evaluó la integración de extremo a extremo de las salidas de SIC en un pipeline de RAG en vivo.

Los autores concluyen que, si bien el marco SIC muestra mejoras medibles en la estructuración epistémica, el trabajo futuro debería explorar características de sonda más ricas, taxonomías de dominios expandidas, recompensas basadas en embeddings y arquitecturas de modelos más amplias.