Resumen Técnico: Coherencia Bajo Compromiso (CUC)

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) desplegados en dominios intensivos en conocimiento exhiben un modo de fallo crítico: la coherencia vacua. Las métricas de evaluación estándar priorizan la consistencia lógica (por ejemplo, la consistencia de negación, donde un modelo no afirma simultáneamente una proposición y su negación). Sin embargo, un modelo puede satisfacer trivialmente estas restricciones de consistencia mediante la abstención sistemática de emitir cualquier juicio decisivo. Al retener el compromiso de elegir entre la implicación o la refutación, un modelo logra una contradicción lógica nula pero proporciona una utilidad de razonamiento nula.

En entornos de alto riesgo (p. ej., diagnósticos clínicos, razonamiento científico), este comportamiento "seguro" es indistinguible de una fiabilidad genuina bajo las evaluaciones estándar. Un modelo que se niega a responder al 90% de las consultas parece "coherente", pero es operativamente inútil. Los paradigmas de evaluación actuales no logran detectar esto porque miden la coherencia de forma aislada, ignorando el compromiso epistémico requerido para un razonamiento accionable.

Metodología: Coherencia Bajo Compromiso (CUC)

Los autores proponen la Coherencia Bajo Compromiso (CUC), un paradigma de evaluación de consulta dual diseñado para medir conjuntamente la coherencia lógica y la decisividad epistémica.

1. Protocolo de Elicitación de Consulta Dual

En lugar de una única consulta, el CUC construye un par simétrico de consultas para cada premisa $P$ e hipótesis $\phi$:

• $Q_\phi$: "¿Está $\phi$ lógicamente implicado por $P$?"
• $Q_{\neg\phi}$: "¿Está $\neg\phi$ lógicamente implicado por $P$?"

Para eliminar la varianza de muestreo y los artefactos de decodificación, el protocolo utiliza la elicitación determinista. Extrae probabilidades logarítmicas normalizadas para respuestas binarias (SÍ/NO) directamente de los logits del modelo:
$$\mathcal{P}(\phi) = \frac{\exp(\log P(\text{SÍ}|Q_\phi))}{\exp(\log P(\text{SÍ}|Q_\phi)) + \exp(\log P(\text{NO}|Q_\phi))}$$
Esto genera una masa de probabilidad para la respuesta afirmativa tanto para la hipótesis como para su negación.

2. Métricas Principales

El marco define dos métricas primarias derivadas de las probabilidades $\mathcal{P}(\phi)$ y $\mathcal{P}(\neg\phi)$:

• Puntuación de Compromiso ($c(\phi)$):
  $$c(\phi) = \mathcal{P}(\phi) + \mathcal{P}(\neg\phi)$$
  Esta cuantifica la masa de probabilidad total asignada a resultados decisivos. Una puntuación baja indica que el modelo trata la consulta como efectivamente desconocida (abstención), independientemente de si es coherente.

• Violación de Coherencia de Negación ($v_{neg}(\phi)$):
  $$v_{neg}(\phi) = \max(0, c(\phi) - 1)$$
  Esta mide la extensión en la que un modelo asigna más de una unidad de masa de probabilidad a resultados mutuamente excluyentes. Un valor $>0$ indica incoherencia lógica (sobrecompromiso simultáneo).

Perspectiva Clave: El artículo establece la identidad algebraica $v_{neg} = \max(0, c - 1)$. Esto implica que cualquier modelo con $c(\phi) \leq 1$ logrará automáticamente una violación cero, independientemente de su calidad de razonamiento. Por lo tanto, las bajas tasas de violación pueden ser un artefacto de un bajo compromiso.

3. Marco de Decisión de 3 Vías

Para operacionalizar estas métricas, los autores definen una regla de decisión con umbrales $\tau$ (confianza) y $\delta$ (margen):

• VERDADERO: Si $\mathcal{P}(\phi) \geq \tau$ y $\mathcal{P}(\phi) \geq \mathcal{P}(\neg\phi) + \delta$.
• FALSO: Si $\mathcal{P}(\neg\phi) \geq \tau$ y $\mathcal{P}(\neg\phi) \geq \mathcal{P}(\phi) + \delta$.
• INCIERTO: De lo contrario.

Esto permite que la evaluación reporte Cobertura (fracción de predicciones NO-INCIERTAS) y Precisión Condicional ($Acc_{cov}$), distinguiendo entre modelos que son precisos pero se abstienen y aquellos que son decisivos pero contradictorios.

Configuración Experimental

• Datasets: Evaluado en FOLIO v0.0 (204 ejemplos con negaciones formalmente verificadas) y LOGIQA v2 (304 ejemplos con negación basada en reglas).
• Modelos: Cuatro modelos de pesos abiertos (1.1B–3B de parámetros): TinyLlama-1.1B, Phi-2, Qwen2.5-1.5B y Qwen2.5-3B.
• Protocolo: Extracción determinista de log-probabilidad sobre tokens de SÍ/NO.

Resultados Clave

1. La Frontera de Coherencia-Compromiso

Los experimentos revelan una frontera de intercambio (trade-off) aguda y empíricamente robusta. Ningún modelo logra simultáneamente alta cobertura y baja violación.

• Abstención Sistemática (Qwen2.5-3B): Logra la tasa de violación más baja ($E[v_{neg}] = 0.025$), pareciendo el "mejor" bajo métricas de solo coherencia. Sin embargo, tiene una puntuación de compromiso de $0.115$ y una cobertura del 7.4%, reteniendo predicciones en más del 92% de los ejemplos.
• Sobrecompromiso Sistemático (TinyLlama-1.1B): Logra un 79.4% de cobertura, pero viola los axiomas de probabilidad en el 100% de los ejemplos ($E[v_{neg}] = 0.698$), asignando $>1.6$ de masa de probabilidad a resultados contradictorios.
• Modelos Intermedios: Phi-2 y Qwen2.5-1.5B ocupan posiciones intermedias, exhibiendo grados variables de tanto abstención como contradicción.

2. Fracaso de la Evaluación Estándar

• Ceguera de la Precisión: Las puntuaciones de precisión de 3 vías estándar son casi idénticas entre modelos (variando solo de 0.343 a 0.441), ocultando los modos de fallo diametralmente opuestos de abstención frente a sobrecompromiso.
• Trampa de la Coherencia Única: Una evaluación de solo coherencia clasificaría a Qwen2.5-3B como el modelo superior (6.6 veces menor violación que el siguiente mejor), recompensando incorrectamente a un modelo que apenas proporciona razonamiento accionable.
• Ilusión de Calibración: Incluso en el pequeño subconjunto de predicciones comprometidas, los modelos muestran una mala calibración (alto Error de Calibración Esperado). La aparente calibración de Qwen2.5-3B es un artefacto de su filtrado agresivo (seleccionando solo el 7% de los ejemplos más fáciles).

3. Efectos de Escala

Escalar Qwen2.5 de 1.5B a 3B parámetros resultó en una reducción del 83% en el compromiso y una caída de 23.5 puntos en la cobertura, con un cambio insignificante en la precisión. El modelo más grande aprendió a eludir (abstenerse) en lugar de razonar con más precisión, un comportamiento que las métricas estándar interpretarían erróneamente como una mejora en la coherencia.

Significado y Reivindicaciones

El artículo argumenta que la evaluación del razonamiento lógico debe pasar de preguntar "¿Es el modelo coherente?" a "¿Es el modelo útilmente coherente?".

1. La Coherencia Vacua es un Punto Ciego: Las métricas estándar no pueden distinguir entre un modelo que razona correctamente y uno que simplemente se niega a responder. El CUC expone esto al requerir un compromiso no vacuo.
2. La Frontera es Inevitable: Existe una tensión fundamental entre la coherencia y el compromiso. Los modelos que optimizan una dimensión suelen degradar la otra.
3. Agnosticismo de Modalidad: Aunque se instanció en texto, el marco es teóricamente aplicable a entornos multimodales (p. ej., VQA, robótica) donde se pueden plantear consultas complementarias sobre imágenes y texto.
4. Necesidad Metodológica: Los autores afirman que reportar tanto la coherencia como el compromiso es esencial para despliegues de alto riesgo donde la abstención conlleva costes operativos reales. El CUC proporciona el primer marco con principios para cuantificar este intercambio y evitar el despliegue de modelos que son "coherentes" solo porque permanecen en silencio.

El artículo concluye que sin métricas como el CUC, los profesionales corren el riesgo de desplegar modelos que parecen fiables pero que son funcionalmente inertes en dominios intensivos en conocimiento.