Consistency-Guided Decoding with Proof-Driven Disambiguation for Three-Way Logical Question Answering

El artículo presenta CGD-PD, un método ligero de decodificación guiado por consistencia y desambiguación basada en pruebas que mejora la precisión y reduce las predicciones de "desconocido" en la respuesta a preguntas lógicas de tres vías al corregir inconsistencias de negación y resolver incertidumbres epistémicas mediante consultas mecánicas y sondeos de implicación dirigidos.

Lo esencial

Imagina que tienes a un genio muy inteligente (una Inteligencia Artificial) al que le pides que resuelva acertijos lógicos. Le das una historia (las premisas) y una afirmación (la hipótesis), y le preguntas: "¿Es esto verdadero, falso, o no tenemos suficiente información para saberlo?".

El problema es que, aunque este genio es brillante, a veces se comporta como un niño caprichoso o un traductor confuso:

1. El problema de la "Negación Inconsistente": Si le preguntas "¿Es verdad que el gato está en la caja?", te dice "Verdadero". Pero si le preguntas lo contrario, "¿Es verdad que el gato NO está en la caja?", a veces te dice "Verdadero" también. ¡Es imposible que ambas sean verdad al mismo tiempo! Es como si el genio no entendiera que "sí" y "no" son opuestos.
2. El problema del "No sé" (Desconocido): A veces, el genio sabe la respuesta, pero tiene miedo de equivocarse o se siente inseguro, así que simplemente dice "No lo sé" (Unknown). En lugar de arriesgarse a dar una respuesta, se esconde detrás de la duda, incluso cuando la lógica le dicta claramente qué responder.

La Solución: CGD-PD (El "Detective de la Coherencia")

Los autores de este paper crearon un pequeño "capa" o asistente de supervisión llamado CGD-PD. Imagina que este asistente es un juez muy estricto pero justo que se sienta al lado del genio para asegurarse de que no cometa errores tontos.

Así funciona su método, paso a paso, con una analogía sencilla:

1. La Prueba del Espejo (Doble Consulta)

En lugar de preguntar una sola vez, el asistente le hace al genio dos preguntas al mismo tiempo:

• Pregunta A: "¿Es verdad X?"
• Pregunta B: "¿Es verdad que NO es X?"

Si el genio responde "Verdadero" a la A y "Falso" a la B, ¡perfecto! El asistente dice: "¡Bien hecho, las respuestas coinciden!". Pero si el genio responde "Verdadero" a ambas (o "Falso" a ambas), el asistente levanta la mano y dice: "¡Espera! Eso es imposible. Algo anda mal".

2. El "Arreglador de Dudas" (Disambiguación)

Si el genio dice "No lo sé" (Unknown) a una de las preguntas, el asistente no se rinde. En lugar de aceptar la duda, le dice: "Oye, si no estás seguro, busca una prueba concreta en la historia. ¿Hay alguna frase que confirme esto o lo refute?".

• Si el genio encuentra la prueba, le obliga a dar una respuesta clara (Verdadero o Falso).
• Si realmente no hay prueba en la historia, entonces sí, el asistente acepta que la respuesta es "No lo sé".

3. El Juez Final (Adjudicación)

Si el genio sigue dando respuestas contradictorias (ej. "Verdadero" para X y "Verdadero" para NO-X), el asistente usa un pequeño truco lógico: "Si dices que X es verdad, entonces NO-X tiene que ser falso. Voy a corregir tu respuesta para que tenga sentido".

¿Por qué es genial esto?

Imagina que estás en un examen y el genio (la IA) tiene un miedo terrible a equivocarse, por lo que marca "No sé" en la mitad de las preguntas.

• Sin el asistente: El genio saca una nota baja porque se esconde detrás de la duda.
• Con el asistente (CGD-PD): El asistente le empuja suavemente a pensar un poco más, a buscar la prueba y a atreverse a responder. Además, corrige sus errores de lógica básica (como decir que "sí" y "no" son verdad a la vez).

Los Resultados en la vida real

En los experimentos, probaron esto con modelos de IA muy avanzados (como GPT-5.2 y Claude Sonnet) usando un banco de pruebas llamado FOLIO (que es como un examen de lógica pura).

• Mejora en la nota: La precisión de las respuestas mejoró entre un 4% y un 7% (lo cual es muchísimo en el mundo de la IA).
• Menos cobardía: La IA dejó de decir "No lo sé" tan a menudo. Pasó de decir "No sé" en el 75% de los casos (en uno de los modelos) a solo el 58%, pero acertando más en las respuestas que sí dio.
• Costo: Para lograr esto, el asistente tuvo que hacer unas 4 o 5 preguntas por cada ejercicio en lugar de una sola. Es como si el genio tuviera que pensar un poco más y consultar sus notas, pero el resultado final es mucho más fiable.

En resumen

Este paper nos dice que no necesitamos crear un genio perfecto desde cero. A veces, solo necesitamos ponerle un espejo lógico frente a él y un juez que le recuerde que "sí" y "no" son opuestos. Con un poco de supervisión inteligente, las IAs pueden dejar de ser inseguras y contradictorias, convirtiéndose en razonadores mucho más sólidos y útiles para tareas importantes.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Consistency-Guided Decoding with Proof-Driven Disambiguation for Three-Way Logical Question Answering" (Decodificación Guiada por Consistencia con Desambiguación Impulsada por Pruebas para la Respuesta a Preguntas Lógicas de Tres Vías), traducido y adaptado al español.

---

1. Problema: Inconsistencias en la Lógica de Tres Vías con LLMs

El artículo aborda las limitaciones de los Modelos de Lenguaje Grandes (LLMs) modernos en tareas de Respuesta a Preguntas Lógicas de Tres Vías. En esta tarea, dado un conjunto de premisas ($S$) y una hipótesis ($H$), el modelo debe asignar una de tres etiquetas:

• Verdadero (True): $S \models H$ (La premisa implica la hipótesis).
• Falso (False): $S \models \neg H$ (La premisa implica la negación de la hipótesis).
• Desconocido (Unknown): Ni $H$ ni $\neg H$ son implicados por $S$ (subespecificación lógica genuina).

Los autores identifican dos modos de fallo recurrentes en los LLMs actuales:

1. Inconsistencia de Negación: Los modelos tratan $H$ y su negación mecánica $\neg H$ como entradas independientes. Esto lleva a que el modelo asigne etiquetas incompatibles (ej. predecir "Verdadero" para $H$ y "Verdadero" para $\neg H$), violando la relación lógica determinista donde si $H$ es Verdadero, $\neg H$ debe ser Falso.
2. Desconocido Epistémico: Los modelos predicen "Desconocido" no porque la lógica sea ambigua, sino debido a incertidumbre, inestabilidad o comportamiento conservador del modelo. Esto reduce la precisión y la utilidad del sistema, ya que el modelo "abstiene" de responder en casos donde la respuesta lógica es definitiva.

2. Metodología: CGD-PD

Los autores proponen CGD-PD (Consistency-Guided Decoding with Proof-Driven Disambiguation), una capa ligera de ejecución en tiempo de prueba (test-time) que no requiere entrenamiento ni solucionadores lógicos externos. El método funciona como un "envoltorio" (wrapper) que utiliza un solo clasificador de tres vías y sigue estos pasos:

1. Doble Sondeo Guiado por Consistencia:

   • Se consulta al modelo dos veces: una con la hipótesis original $H$ y otra con su forma negada mecánicamente $\neg H$.
   • Se verifica si el par de respuestas cumple la consistencia de negación (es decir, si la etiqueta de $\neg H$ es la negación lógica de la etiqueta de $H$). Si es consistente y al menos una es decisiva, se devuelve el resultado.

2. Fijación Dirigida de "Desconocido" (Targeted Unknown Fixing):

   • Si una de las consultas devuelve "Desconocido", se invoca un prompt específico ("FixUnknown") que pide al modelo que:
     • Proporcione una etiqueta decisiva (Verdadero/Falso) junto con una testimonio (una cita de la premisa que lo respalda).
     • O bien, mantenga "Desconocido" si realmente falta información.
   • Si una parte se vuelve decisiva, la otra se ajusta automáticamente mediante el mapa de negación.

3. Desambiguación Impulsada por Pruebas (Proof-Driven Disambiguation):

   • Si ambas consultas siguen siendo "Desconocido" tras el paso anterior, se activan sondeos de implicación binaria (preguntas de Sí/No: "¿S implica H?").
   • Estos sondeos son más simples que la clasificación de tres vías y menos propensos a usar "Desconocido" por defecto.
   • Regla de decisión: Si el sondeo dice "Sí" para $H$ y "No" para $\neg H$, se devuelve Verdadero. Si es al revés, Falso. Si ambos son "Sí" (conflicto raro) o ambos "No", se mantiene "Desconocido".

4. Arbitraje (Adjudication):

   • Si ambas consultas iniciales son decisivas pero inconsistentes (ej. ambas dicen Verdadero), se usa un prompt de arbitraje ligero para proyectar el resultado hacia una asignación consistente.

Coste Computacional: El método es eficiente, requiriendo un promedio de 4 a 5 llamadas al modelo por ejemplo (frente a 1 llamada en el enfoque base), lo cual es aceptable para escenarios de evaluación o alta precisión.

3. Contribuciones Clave

1. Identificación y Cuantificación: Aíslan y miden dos modos de fallo críticos en la lógica de tres vías con LLMs: la inconsistencia de negación y el "Desconocido" epistémico, utilizando las anotaciones formales del benchmark FOLIO.
2. Propuesta de CGD-PD: Introducen un marco de ejecución en tiempo de prueba, implementable y sin entrenamiento, que fuerza decisiones finales consistentes con la negación y resuelve selectivamente los casos de "Desconocido" mediante pruebas binarias dirigidas.
3. Análisis de Desempeño: Proporcionan un análisis detallado que aclara de dónde provienen las mejoras (resolución de incertidumbre epistémica) y cuándo se utilizan llamadas adicionales.

4. Resultados Experimentales

Los experimentos se realizaron en el benchmark FOLIO (específicamente en sus campos de lógica de primer orden - FOL), evaluando modelos como GPT-5.2 y Claude Sonnet 4.5.

• Mejoras en Precisión:
  • GPT-5.2: Aumento de 4.4 puntos porcentuales en precisión (de 63.7% a 68.1%).
  • Claude Sonnet 4.5: Aumento de 6.9 puntos porcentuales en precisión (de 42.2% a 49.0%).
• Reducción de "Desconocido":
  • Se redujo significativamente la tasa de predicciones "Desconocido".
  • La tasa de Desconocido Epistémico (casos donde la respuesta era Verdadero/Falso pero el modelo dijo Desconocido) disminuyó drásticamente (ej. de 72.6% a 53.3% en Claude).
• Análisis de Matriz de Confusión: Las ganancias provienen principalmente de convertir predicciones "Desconocido" incorrectas en etiquetas decisivas correctas (Verdadero/Falso). Existe un pequeño compromiso en casos donde la etiqueta real es "Desconocido", pero el beneficio neto es positivo.
• Cobertura: En el modelo Claude, la cobertura (porcentaje de predicciones no "Desconocido") aumentó del 24.5% al 41.2%, demostrando que muchos "Desconocidos" iniciales eran debidos a incertidumbre del modelo y no a ambigüedad lógica real.

5. Significado e Impacto

• Estructura Lógica Mínima: El trabajo demuestra que imponer una estructura lógica mínima (la relación de negación) durante la inferencia puede mejorar significativamente el razonamiento de los LLMs sin necesidad de reentrenamiento o solucionadores simbólicos complejos.
• Complementariedad: CGD-PD es complementario a métodos como la "auto-consistencia" (múltiples muestras del mismo prompt). Mientras la auto-consistencia agrupa muestras idénticas, CGD-PD explora la redundancia lógica entre hipótesis relacionadas ($H$ y $\neg H$).
• Aplicabilidad: Es una solución práctica para sistemas de alta fiabilidad (asistentes de análisis, herramientas educativas, sistemas de verificación) donde la abstención excesiva ("Desconocido") reduce la utilidad.
• Limitaciones: El método no es un solucionador lógico completo; depende de la capacidad del LLM para realizar las pruebas binarias. Además, aumenta el coste computacional (número de llamadas), por lo que es ideal para escenarios donde la precisión y la consistencia justifican el costo.

En conclusión, el artículo presenta una técnica eficiente que transforma la "inconsistencia" y la "abstención" de los LLMs en oportunidades para mejorar la precisión lógica mediante la explotación de relaciones metamórficas simples (negación) y verificación dirigida.