Inclusion-of-Thoughts: Mitigating Preference Instability via Purifying the Decision Space

Resumen Técnico: Inclusion-of-Thoughts (IoT)

1. El Problema: Inestabilidad de Preferencias y Carga Cognitiva

A pesar del éxito de los Modelos de Lenguaje (LLMs) en tareas de razonamiento, estos siguen siendo vulnerables en preguntas de opción múltiple (MCQ) debido a la presencia de distractores plausibles.

• Fenómeno: Los modelos a menudo muestran una inestabilidad de preferencias. Esto significa que, aunque el modelo identifica la respuesta correcta como una de sus candidatas de alta confianza inicial, la presencia de opciones distractores convincentes provoca una oscilación en su atención.
• Consecuencia: El modelo puede fluctuar entre la respuesta correcta y la incorrecta al comparar opciones, no por falta de conocimiento o pasos de razonamiento insuficientes, sino por una ambigüedad comparativa inducida por el espacio de opciones.
• Limitación de métodos actuales: Las técnicas existentes como Chain-of-Thought (CoT) estándar, Self-Consistency (SC) o búsquedas complejas (Tree-of-Thought) a menudo requieren un alto costo computacional (muestreo masivo, bucles de retroalimentación) o no abordan directamente la inestabilidad inherente al espacio de decisión.

2. Metodología: Inclusion-of-Thoughts (IoT)

IoT es una estrategia de auto-filtrado progresivo diseñada para "purificar" el espacio de decisión, reduciendo la carga cognitiva del modelo y estabilizando su razonamiento. Funciona como un marco de inferencia en tiempo de prueba (test-time) que no requiere entrenamiento adicional (zero-shot).

El proceso consta de tres etapas:

• Etapa 1: Elicitación de Preferencia Inicial

  • Se presenta la MCQ original con todas las opciones ($O$) al modelo utilizando un prompt estándar de CoT.
  • El modelo genera su respuesta más probable, denotada como $o^*_1$.

• Etapa 2: Segunda Evaluación de Plausibilidad (Perturbación)

  • Se perturba el conjunto de opciones eliminando la selección inicial ($o^*_1$) y reemplazándola con un marcador neutral: "ninguna de las opciones".
  • El modelo se consulta nuevamente sobre este conjunto modificado ($O'$).
  • Objetivo: Si $o^*_1$ era robustamente correcta, el modelo debería seleccionar "ninguna de las opciones". Si el modelo selecciona otra opción ($o^*_2$), revela que existía una segunda opción plausible que competía con la primera.
  • Mecanismo de Parada Temprana: Si el modelo selecciona "ninguna de las opciones" en esta etapa, se confirma la estabilidad de la preferencia inicial y el proceso termina, evitando la Etapa 3.

• Etapa 3: Inferencia Final Confinada

  • Si no hubo parada temprana, se construye una MCQ reducida que contiene únicamente las dos opciones más plausibles seleccionadas: $\{o^*_1, o^*_2\}$.
  • El modelo realiza una comparación final directa entre estas dos opciones. Al eliminar los distractores irrelevantes, se reduce drásticamente la carga cognitiva y se fuerza al modelo a decidir basándose en su razonamiento interno más puro.

3. Contribuciones Clave

1. Marco IoT: Propuesta de un método ligero y zero-shot que mejora el razonamiento en MCQ aislando y comparando las candidatas de alta confianza, en lugar de expandir el espacio de razonamiento mediante muestreo.
2. Nueva Perspectiva de Estabilidad: Demostración de que muchos errores en MCQ no se deben a falta de conocimiento, sino a la inestabilidad de preferencias entre opciones plausibles. IoT aborda esto purificando el espacio de decisión.
3. Análisis Diagnóstico: Introducción de un análisis basado en transiciones (TTT, FTT, TFF, etc.) que permite identificar cuándo un modelo falla debido a ambigüedad en los datos o etiquetas erróneas, funcionando como una herramienta de diagnóstico para la calidad de los conjuntos de datos.
4. Eficiencia Computacional: IoT logra mejoras significativas con una sobrecarga mínima (aprox. 2.2x los tokens de CoT estándar), superando en eficiencia a métodos como Self-Consistency (que requiere ~4.6x tokens).

4. Resultados Experimentales

Los autores evaluaron IoT en cuatro modelos de lenguaje (Llama-3.3-8B, Olmo-2-7B/13B, GPT-4o-mini) a través de múltiples benchmarks:

• Rendimiento General: IoT superó consistentemente a las líneas base (CoT, SC, EoT) en la mayoría de las tareas.
  • En Olmo-2-7B, IoT alcanzó un promedio general del 72.91%, superando al competidor más cercano en ~1.64%.
  • Logró nuevos estados del arte (SOTA) en tareas de razonamiento común (OBQA, CSQA) y benchmarks educativos (ARC, MMLU).
• Casos de Éxito Específicos:
  • Matemáticas (GSM8K-MC): IoT obtuvo 91.66% (Olmo-2-7B) y 93.10% (Olmo-2-13B), superando a CoT y SC.
  • Razonamiento Común: Mejoras notables en OBQA (+3.40%) y CSQA (+2.05%).
• Robustez: IoT redujo la sensibilidad del modelo al orden de las opciones (un problema conocido en LLMs), demostrando una estructura de preferencia más estable.
• Combinación con SC: La combinación de IoT + Self-Consistency mostró mejoras marginales adicionales, aunque con un costo computacional más alto.

5. Significado e Impacto

• Eficiencia vs. Rendimiento: IoT demuestra que es posible mejorar drásticamente la precisión del razonamiento sin recurrir a costosos algoritmos de búsqueda o muestreo masivo. Al centrarse en la estabilidad de la decisión en lugar de la generación de más caminos de razonamiento, ofrece una solución escalable y rentable.
• Interpretabilidad: Al documentar el proceso de filtrado y las transiciones entre etapas, IoT hace que la toma de decisiones del modelo sea más transparente, permitiendo a los investigadores diagnosticar si un error se debe a ambigüedad en la pregunta o a una falla del modelo.
• Limitaciones: El método está diseñado específicamente para preguntas de opción múltiple y su efectividad disminuye en conjuntos de opciones muy pequeños (donde la inestabilidad es menos pronunciada). No corrige errores derivados de la falta de conocimiento fundamental.

En conclusión, Inclusion-of-Thoughts representa un avance significativo en la optimización de LLMs para tareas de MCQ, proponiendo que la clave para un mejor razonamiento no es siempre "pensar más", sino "pensar más limpiamente" al eliminar el ruido de las distracciones plausibles.