💬 NLP

Implicit Probabilistic Reasoning Does Not Reflect Explicit Answers in Large Language Models

Este trabajo demuestra que, aunque los modelos de lenguaje muestran un razonamiento probabilístico explícito sólido en preguntas de opción múltiple, su razonamiento implícito durante la generación de texto a menudo diverge significativamente de la verdad estadística debido a factores de influencia indebida que no son detectados por las evaluaciones convencionales.

Autores originales: Manuel Mondal, Ljiljana Dolamic, Gérôme Bovet, Philippe Cudré-Mauroux, Julien Audiffren

Publicado 2026-02-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Manuel Mondal, Ljiljana Dolamic, Gérôme Bovet, Philippe Cudré-Mauroux, Julien Audiffren

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que los Grandes Modelos de Lenguaje (como los que usas para chatear o escribir correos) son como chefs muy talentosos pero un poco distraídos.

Esta investigación nos cuenta una historia muy curiosa sobre cómo estos "chefs" cocinan la información, y descubre que saben mucho cuando les pides que elijan un plato de un menú, pero se equivocan estrepitosamente cuando tienen que cocinar el plato ellos mismos.

Aquí tienes la explicación sencilla:

1. Los dos modos de cocinar: "El Menú" vs. "La Olla"

Los investigadores probaron a estos modelos de dos formas diferentes:

Modo "El Menú" (Razonamiento Explícito): Le preguntas al chef: "Si lanzo dos dados, ¿cuál es la probabilidad de que sumen 7? ¿Es A) 1/6, B) 1/2 o C) 1/3?".
- Resultado: ¡El chef es un genio! Responde correctamente casi siempre. Sabe la teoría, sabe las matemáticas y puede elegir la opción correcta del menú. Es como un estudiante que aprueba el examen teórico de conducir.
Modo "La Olla" (Razonamiento Implícito): Ahora, en lugar de elegir una opción, le das la mitad de la frase y le pides que la termine: "Lanzamos dos dados. La suma de sus caras es...".
- Resultado: ¡Aquí es donde el chef se confunde! Aunque sabe que la respuesta es "7", cuando tiene que escribir la palabra "7" en la frase, a veces le da más probabilidad a que salga un "2" o un "12", o se deja llevar por cosas que no importan. Es como si el chef supiera la receta, pero al poner la sal en la olla, se le olvida cuánta puso y echa el doble.

2. La trampa de la "Historia Anterior" (El Efecto de la Moneda)

Imagina que le dices al chef: "Lanzamos una moneda y salió 'Cara'. Ahora lanzamos otra moneda. ¿Qué saldrá?".

La lógica real: Como las monedas no tienen memoria, la segunda moneda tiene el 50% de probabilidad de salir Cara y el 50% de Cruz. El resultado anterior no importa.
Lo que hace el modelo: El modelo piensa: "¡Ah! Salió Cara antes, así que la próxima seguro que sale Cruz" (o a veces cree que saldrá Cara otra vez).
La analogía: Es como si el modelo creyera que el universo tiene una "memoria" o un "deber de compensación". Si ayer llovió, hoy cree que tiene que salir sol, aunque el clima no tenga nada que ver con lo de ayer. Esto es un error grave: no sabe ignorar información irrelevante.

3. El prejuicio del "Primero que veo"

Imagina que le das al chef dos opciones que son exactamente iguales: "Elige entre la manzana A y la manzana B. Ambas tienen el mismo sabor".

La lógica real: Debería elegir cualquiera al azar (50/50).
Lo que hace el modelo: Casi siempre elige la primera que ve (la manzana A), sin importar que le digas que son iguales.
La analogía: Es como si el modelo fuera un niño pequeño que siempre elige el primer juguete que ve en la estantería porque le da pereza pensar en los demás, aunque todos sean idénticos.

4. El caso médico: El diagnóstico que no cuadra

Los investigadores hicieron una prueba con un caso médico:

Pregunta de examen: "Dada esta estadística de enfermedades, ¿cuál es la probabilidad de que el paciente tenga ansiedad?". El modelo responde: "11% (Opción A)". ¡Correcto!
Conversación real: Le dicen: "El paciente tiene estos síntomas y estadísticas. El diagnóstico más probable es...".
El error: El modelo escribe: "El diagnóstico es ansiedad" y le asigna un 99% de probabilidad, ignorando que, según las matemáticas, la "fatiga" era más probable.
El peligro: El modelo dice la respuesta correcta cuando se le pregunta, pero actúa como si la respuesta incorrecta fuera la verdad cuando está escribiendo una historia o un informe. Es como un abogado que sabe la ley, pero en el tribunal, por nervios, defiende al culpable con argumentos que sabe que son falsos.

¿Por qué es importante esto?

Hasta ahora, todos los exámenes para medir la inteligencia de estas IAs eran como el "Modo Menú": les hacían preguntas de opción múltiple. Pensábamos que si aprobaban el examen, eran genios de las matemáticas y la lógica.

Este estudio nos dice: "¡Ojo! Solo porque aprueben el examen teórico, no significa que sepan conducir el coche en la vida real."

Cuando estas IAs escriben noticias, diagnósticos médicos o consejos financieros, están en "Modo Olla". Si no saben integrar bien las probabilidades en lo que escriben, pueden inventar diagnósticos falsos o tomar decisiones basadas en prejuicios (como creer que lo que pasó antes afecta lo que pasará ahora), aunque en un examen de matemáticas sepan la respuesta correcta.

En resumen: Las IAs son muy buenas diciendo lo que saben, pero a veces son muy malas actuando como si realmente lo supieran cuando están generando texto. Necesitamos nuevos exámenes que midan no solo lo que dicen, sino cómo piensan mientras escriben.

Título del Artículo

"El razonamiento probabilístico implícito no refleja las respuestas explícitas en los Modelos de Lenguaje Grandes"
(Implicit Probabilistic Reasoning Does Not Reflect Explicit Answers in Large Language Models)

1. El Problema

La evaluación actual de la capacidad de razonamiento probabilístico de los Modelos de Lenguaje Grandes (LLMs) se basa casi exclusivamente en preguntas de opción múltiple (MCQ). Este enfoque, denominado razonamiento explícito, mide la capacidad del modelo para seleccionar la respuesta correcta entre un conjunto finito de opciones.

Sin embargo, los autores identifican limitaciones críticas en este paradigma:

Sesgos de formato: El rendimiento de los LLMs en MCQs es altamente sensible al orden de las opciones y a la formulación de la pregunta.
Discrepancia entre competencia y desempeño: Un modelo puede "saber" la respuesta correcta (competencia) cuando se le pide explícitamente, pero fallar al integrar esa información probabilística en su proceso de generación de texto (desempeño).
Falta de evaluación de la incertidumbre: Las MCQs no evalúan cómo el modelo distribuye la probabilidad entre los tokens siguientes durante la generación de texto, lo cual es fundamental para aplicaciones del mundo real donde el modelo debe manejar información parcial o incierta.

2. Metodología

Los autores proponen un nuevo paradigma de evaluación llamado razonamiento probabilístico implícito. En lugar de pedir al modelo que elija una respuesta, evalúan la distribución de probabilidad que el modelo asigna al siguiente token en una tarea de completado de texto.

Enfoque Implícito: Las preguntas de opción múltiple se reformulan como escenarios de completado de texto. Por ejemplo, en lugar de preguntar "¿Cuál es la probabilidad de que dos dados sumen 7?", se presenta el contexto "Se lanzan dos dados justos. La suma de sus caras es igual a " y se mide la probabilidad que el modelo asigna al token "7" frente a otros resultados posibles.
Métricas:
- Se compara la distribución de probabilidad de los tokens siguientes ( $P_{LLM}$ ) con la verdad fundamental (ground truth).
- Se utilizan métricas de distancia (Chebyshev, Manhattan) y divergencia (Kullback-Leibler) para cuantificar la alineación entre la predicción implícita y la distribución real.
- Se analiza si el modelo favorece el resultado de máxima verosimilitud (ML) correcto.
Escenarios de Prueba: Se diseñaron cinco familias de tareas para desafiar el razonamiento del modelo:
1. Dados: Lanzamientos simples, repetidos (independientes y dependientes) y con observaciones parciales.
2. Monedas: Lanzamientos con sesgos explícitos.
3. Preferencias y Elecciones: Evaluación del impacto de las etiquetas (ej. "Izquierda" vs "Derecha") y el orden de presentación.
4. Estadísticas: Escenarios médicos donde se deben combinar prevalencias de poblaciones para diagnosticar a un paciente (ej. el caso de estudio de "Sam").
Modelos Evaluados: Se probaron 10 modelos de peso abierto de última generación (hasta finales de 2025), incluyendo Qwen, DeepSeek, Llama, Mistral y Gemma, con tamaños que van desde 14B hasta 235B parámetros.

3. Contribuciones Clave

Nueva Métrica de Evaluación: Introducción del "razonamiento probabilístico implícito" como una medida complementaria y más rigurosa que las MCQs tradicionales, enfocada en la distribución de probabilidad de los tokens generados.
Demostración de la Brecha Explícito-Implícito: Evidencia empírica de que los LLMs pueden responder correctamente a preguntas de probabilidad (explícito) pero fallar estrepitosamente al aplicar esa lógica en la generación de texto (implícito).
Identificación de Sesgos Sistemáticos:
- Influencia de eventos previos irrelevantes: Los modelos actualizan incorrectamente sus creencias ante eventos independientes previos (ej. un lanzamiento de dado anterior afecta la predicción del siguiente, violando la independencia estadística).
- Sesgo de orden y etiquetas: Los modelos favorecen desproporcionadamente la primera opción mencionada o etiquetas con connotaciones específicas, incluso cuando se les dice explícitamente que todas las opciones son equiprobables.
- Fallo en la integración de evidencia parcial: Los modelos no realizan actualizaciones bayesianas correctas cuando se les presenta evidencia incompleta, favoreciendo resultados poco probables en la generación de texto.

4. Resultados Principales

Resultados Contradictorios: En el caso de estudio médico, el modelo seleccionó la respuesta correcta (ansiedad) en la MCQ con un 99.96% de confianza, pero en la tarea de completado de texto, asignó un 99.08% de probabilidad a "ansiedad" a pesar de que las estadísticas indicaban que "agotamiento" (burnout) era más probable.
Fallo en la Independencia: En escenarios de dados y monedas, la mención de un resultado previo (independiente) sesgó significativamente la predicción del siguiente evento, distorsionando la distribución uniforme esperada.
Sesgo de Posición: En escenarios abstractos con opciones equiprobables, la mayoría de los modelos asignaron una probabilidad mucho mayor a la primera opción listada (ej. "A" o "Izquierda"), ignorando la instrucción de equiprobabilidad.
Robustez de los Hallazgos: Estas discrepancias se observaron consistentemente en modelos de diferentes arquitecturas, tamaños y proveedores, sugiriendo un problema fundamental en la integración de la información probabilística en el proceso de generación autoregresiva.

5. Significado e Impacto

Este trabajo tiene implicaciones profundas para la evaluación y el despliegue de LLMs:

Cuestionamiento de los Benchmarks Actuales: Sugiere que los benchmarks basados en MCQs ofrecen una visión incompleta y potencialmente engañosa de las capacidades de razonamiento de los LLMs. Un modelo puede parecer competente en exámenes pero ser poco fiable en la generación de contenido crítico.
Riesgos en Aplicaciones Reales: En dominios como el diagnóstico médico, la toma de decisiones financieras o la investigación científica, donde los LLMs deben generar texto basado en evidencia incierta, el razonamiento implícito defectuoso puede llevar a conclusiones erróneas, justificaciones contradictorias y la sobreestimación de eventos poco probables.
Necesidad de Nuevas Direcciones: Los autores abogan por que la evaluación de los LLMs debe ir más allá de la respuesta correcta y centrarse en cómo el modelo integra la información probabilística en su distribución interna de tokens. Esto es crucial para garantizar que los modelos generen texto que sea coherente con la lógica y la evidencia proporcionada.

En conclusión, el artículo demuestra que la "competencia" probabilística declarada por un LLM no garantiza su "desempeño" al generar texto, revelando una brecha crítica que requiere nuevas metodologías de evaluación y mejoras en la arquitectura o el entrenamiento de los modelos.