Resumen Técnico: Consistencia Trans-Contextual como Medida de la Credibilidad de los LLM

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) funcionan como potentes sistemas de caja negra, lo que dificulta determinar si sus resultados reflejan creencias internas estables o un simple emparejamiento superficial de patrones. Aunque los LLM demuestran un alto rendimiento en diversas tareas, frecuentemente fallan al preservar la consistencia lógica. Los ejemplos incluyen la "maldición de la reversión" (fallar al asociar hechos lógicamente implicados) y el "secuestro de contexto" (cambiar las respuestas cuando se añade un contexto semánticamente neutro). Los métodos de evaluación existentes presentan limitaciones significativas:

• Métodos de Señal Interna: Los enfoques que utilizan probabilidades de nivel de token o estados ocultos son inaplicables a modelos de código cerrado y tienen dificultades con las respuestas abiertas.
• Confianza Autoinformada: Los modelos suelen exhibir exceso de confianza, proporcionando puntuaciones de confianza elevadas para respuestas incorrectas.
• Autoconsistencia y Parafraseo: Estos métodos pueden sufrir fallos mecánicos, como que los modelos se estanquen en la misma respuesta incorrecta a través de múltiples generaciones o introduzcan una deriva semántica durante el parafraseo, lo que conduce a estimaciones de confianza infladas.

Existe la necesidad de un enfoque de caja negra, basado en principios, para evaluar la credibilidad del modelo que no dependa de conocimiento externo, parámetros del modelo o medidas autoinformadas.

Metodología: Consistencia Trans-Contextual (C3)

El artículo propone la Consistencia Trans-Contextual (C3), una propiedad conductual donde una respuesta creíble debería permanecer estable cuando la misma tarea se presenta bajo variaciones contextuales alineadas con el tema pero neutrales en contenido.

Operacionalización

1. Estrategia de Perturbación: Para una consulta dada $x$, los autores muestrean un conjunto de perturbaciones contextuales $E = \{\epsilon_1, \dots, \epsilon_n\}$. Estas perturbaciones se anteponen a la consulta original para crear $x' = [\epsilon; x]$.
   • Restricciones: Las perturbaciones deben cumplir con la alineación temática (permanecer dentro del dominio), la neutralidad de contenido (no revelar, apoyar o contradecir la respuesta) y la no trivialidad (introducir una variación significativa en lugar de simplemente reiterar la pregunta).
2. Comparación Distribucional: El método trata la generación del modelo como un proceso estocástico. Se muestrean salidas de la instrucción original ($Y \sim P(Y|x)$) y de las instrucciones perturbadas ($Y_E \sim P^E(Y|x)$).
3. Definición de la Métrica: C3 se define como una distancia inversa normalizada entre las distribuciones de salida originales y las perturbadas:
   $$C3(x; E) = 1 - \tilde{D}(P(Y|x), P^E(Y|x))$$
   donde $\tilde{D}$ es una función de distancia adaptativa a la tarea normalizada al intervalo $[0, 1]$. En la implementación principal, los autores utilizan la Discrepancia de la Media Máxima (MMD) como métrica de distancia, lo que permite la comparación de generaciones tanto de formato fijo como de texto abierto.
4. Interpretación: Un puntaje C3 más alto indica que la distribución de salida del modelo es estable bajo la variación contextual (alta credibilidad), mientras que un puntaje más bajo indica fragilidad contextual (baja credibilidad).

Contribuciones Clave

1. Identificación de una Propiedad Subutilizada: El artículo identifica la C3 como un indicador conductual de la credibilidad de los LLM, postulando que las respuestas bien fundamentadas deben ser estables bajo el contrainterrogatorio (variación contextual).
2. Marco Operativo: Los autores instancian la C3 como un protocolo de evaluación de caja negra aplicable a tareas de opción múltiple, respuesta corta, veracidad de formato largo y generación de código.
3. Validación Empírica: A través de experimentos en 16 modelos en seis benchmarks, el artículo demuestra que la C3 se alinea con la corrección y la veracidad, sirve como un diagnóstico robusto para la saturación de los benchmarks y proporciona un eje de evaluación complementario a las métricas de precisión tradicionales. (Nota: Se incluyeron 10 modelos adicionales en un estudio de caso restringido al benchmark MMLU High School Statistics).

Resultados Experimentales

Los autores evaluaron la C3 frente a las líneas base (Autoconsistencia, Consistencia de Parafraseo, Confianza Autoinformada y FActScore) a través de seis benchmarks: SVAMP, MMLU High School Statistics, CommonsenseQA, SimpleQA, FActScore y HumanEval.

• Calibración Superior: La C3 superó consistentemente a las líneas base en la alineación de la "credibilidad" del modelo con la veracidad. Por ejemplo, en SVAMP (razonamiento matemático), la C3 alcanzó un AUROC de 0.917 comparado con el 0.861 de la Autoconsistencia. En SimpleQA (veracidad), la C3 alcanzó un AUROC de 0.823, superando significativamente a la Autoconsistencia (0.792) y a la Autoinformación (0.490).
• Detección de Veracidad: La C3 detectó eficazmente errores relacionados con la veracidad. Los autores observaron una correlación de rango de Spearman de 0.624 entre la C3 y FActScore, lo que sugiere que el estado interno del modelo contiene representaciones latentes de sus límites de conocimiento. Los hechos alucinados tienden a residir en regiones de baja probabilidad que cambian significativamente bajo la perturbación.
• Generación de Formato Largo: La C3 escaló eficazmente a tareas de texto abierto (HumanEval, FActScore) donde muchos métodos existentes fallan, logrando una fuerte calibración (por ejemplo, 0.110 ECE en HumanEval) sin requerir entornos de ejecución externos.
• Diagnóstico de Benchmarks: Al graficar el rendimiento a nivel de instancia contra la C3, los autores identificaron cuatro regiones distintas:
  • Dominado (Alto Rendimiento, Alta C3): Comprensión estable y correcta.
  • Frágil (Alto Rendimiento, Baja C3): Alta precisión impulsada por el emparejamiento de patrones superficiales o contaminación de datos; los modelos fallan bajo la perturbación.
  • Sesgado (Bajo Rendimiento, Alta C3): Los modelos son consistentemente erróneos debido a prior previos fuertes e incorrectos o conceptos erróneos.
  • No Aprendido (Bajo Rendimiento, Baja C3): Brechas de conocimiento genuinas.
    Este análisis reveló que benchmarks como HumanEval muestran signos de "fragilidad" (sobreajuste), mientras que SimpleQA permanece mayoritmente en la región "No Aprendido".

Significado y Afirmaciones

El artículo afirma que la C3 proporciona un eje de evaluación complementario que sigue siendo informativo incluso cuando los benchmarks convencionales se saturan o contaminan. A diferencia de los métodos que prueban explícitamente la corrección, la C3 mide la estabilidad del proceso de generación. Los autores argumentan que:

• La Credibilidad como Estabilidad: La respuesta de un modelo debe ser robusta ante contextos lógicamente y semánticamente equivalentes. Si las salidas varían sustancialmente entre diferentes marcos, la credibilidad del modelo se ve comprometida.
• Utilidad de Caja Negra: La C3 no requiere acceso a los parámetros del modelo, lo que la hace aplicable a modelos de código cerrado, y no depende de la confianza autoinformada, que suele estar mal calibrada.
• Poder Diagnóstico: La C3 ayuda a distinguir entre la comprensión real y el rendimiento "frágil" impulsado por la memorización o el sesgo, ofreciendo una forma práctica de revelar la fragilidad de la respuesta que la evaluación estándar basada en la precisión pasa por alto.

Los autores concluyen que, si bien la C3 es una herramienta diagnóstica poderosa, no debe tratarse como una garantía de veracidad, ya que un modelo puede ser consistente y aun así estar equivocado. Está destinada a ser una ayuda para identificar generaciones frágiles al contexto, en lugar de un reemplazo para la supervisión humana.