💬 NLP

Reasoning Error from Known Fact: Step-Level Self-Consistency Group Relative Policy Optimization for LLM

Este artículo presenta la Optimización de Política de Grupo Relativa de Autoconsistencia a Nivel de Paso (SSC-GRPO), un método novedoso que mitiga las alucinaciones fácticas sensibles al contexto en modelos de lenguaje de gran tamaño mediante la asignación de recompensas a nivel de paso basadas en puntuaciones de autoconsistencia a través de múltiples ejecuciones de razonamiento, logrando así un rendimiento de vanguardia en pruebas de referencia de razonamiento matemático y de alucinaciones.

Autores originales: Xiaomeng Hu, Jiaqi Hu, Hao Chen, Qi Zhang, Zhanming Shen, Wentao Ye, Junbo Zhao

Publicado 2026-07-22

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xiaomeng Hu, Jiaqi Hu, Hao Chen, Qi Zhang, Zhanming Shen, Wentao Ye, Junbo Zhao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot brillante y hipercreativo a resolver un misterio. Este robot ha leído casi todos los libros de la biblioteca y puede hablar como un humano, pero tiene un hábito peculiar: a veces, cuando se sumerge demasiado en una historia larga, empieza a inventar hechos. Podría decir con total seguridad: "El mayordomo lo hizo con un candelabro", incluso si las pistas apuntan claramente al jardinero. En el mundo de la inteligencia artificial, esto se llama "alucinación". No es que el robot esté mintiendo a propósito; es simplemente que su cerebro se enreda tanto en su propia cadena de pensamientos que olvida lo que realmente sabe.

Durante mucho tiempo, los científicos pensaron que estos errores ocurrían porque el robot simplemente no sabía la respuesta. Pero, ¿y si el robot sí sabe la respuesta, pero se confunde con la historia que se está contando a sí mismo? Este es el rompecabezas que aborda este artículo. Los investigadores están analizando cómo estos modelos de IA piensan paso a paso, como un detective escribiendo pistas en un bloc de notas. Descubrieron que el robot a menudo tropieza con sus propios pies, no por falta de conocimiento, sino porque el contexto de la historia que está escribiendo le hace olvidar la verdad. Para solucionar esto, inventaron un nuevo método de entrenamiento que actúa como un sistema de "autoverificación", enseñando al robot a hacer una pausa y preguntarse: "Espera, ¿tiene sentido esta frase con todo lo que acabo de escribir?".

El Problema: La "Niebla Mental" del Robot

Conoce al Gran Modelo de Lenguaje (LLM). Piensa en él como un loro superinteligente que se ha memorizado todo el internet. Cuando le pides un problema matemático difícil, no solo escupe una respuesta; intenta "pensar" a través del problema, escribiendo una larga cadena de razonamiento, paso a paso. Esto es genial para resolver acertijos complejos, pero tiene un fallo. A medida que la cadena de pensamiento se vuelve más larga, el robot a veces se vuelve "sensible al contexto".

Imagina que estás resolviendo un problema matemático en tu cabeza. Sabes que $3 \times 100 = 300$ . Pero luego, empiezas a escribir una historia sobre un mago que lanza un hechizo que convierte los números en frutas. De repente, tu cerebro se confunde y podrías escribir: "Así que, $3 \times 100$ es definitivamente un plátano". Sabes que es 300, pero la historia tonta que te estás contando a ti mismo te hizo olvidarlo.

Los investigadores descubrieron que esto es exactamente lo que le sucede a la IA. Lo llaman una Alucinación Fáctica Sensible al Contexto. El robot realmente tiene los hechos correctos almacenados en su cerebro, pero el "ruido" del largo proceso de razonamiento lo engaña y lo induce al error. Es como un músico que sabe tocar una canción perfectamente pero se distrae tanto con el ruido de la audiencia que toca una nota equivocada.

El Descubrimiento: No es una Brecha de Conocimiento

Para averiguar esto, el equipo actuó como detectives. Tomaron a un robot que cometió un error en una larga cadena de razonamiento y le hicieron una pregunta simple: "Si tomo solo esa frase errónea y te pregunto sobre ella por sí sola, ¿puedes acertar?".

La respuesta era casi siempre sí.

Cuando aislaron el error, el robot dijo: "¡Oh, por supuesto! ¡ $3 \times 100$ es 300, no un plátano!". Esto demostró que el robot no carecía de conocimiento; simplemente se estaba confundiendo por el contexto. De hecho, su análisis mostró que casi el 70% de los errores que cometen estos modelos de razonamiento son este tipo específico de "niebla mental", donde el modelo conoce la verdad pero se tropieza con su propia historia.

La Solución: El Entrenador de "Autoconsistencia"

Entonces, ¿cómo se le enseña a un robot a dejar de confundirse con su propia historia? Los autores crearon un nuevo método de entrenamiento llamado SSC-GRPO (Optimización de Política Relativa de Grupo con Autoconsistencia a Nivel de Paso). Es un nombre complicado, así que vamos a desglosarlo con una analogía de juego.

Imagina que estás entrenando a un equipo de 8 robots para resolver el mismo rompecabezas al mismo tiempo.

El Despliegue (Rollout): Cada robot escribe su propia solución paso a paso.
La Autoverificación: En lugar de solo comprobar si la respuesta final es correcta, el sistema pide a los robots que comparen sus pasos. "Robot A, ¿coincide tu segundo paso con lo que escribieron el Robot B y el Robot C?".
La Recompensa: Si el paso de un robot coincide con lo que dicen los demás (alta consistencia), recibe una puntuación alta. Si se sale de la ruta y dice algo extraño con lo que nadie más está de acuerdo (baja consistencia), recibe una puntuación baja.

La magia aquí es que el robot actúa como su propio juez. No necesita un profesor humano ni una base de datos de hechos para decirle que está equivocado. Solo necesita mirar a sus "compañeros" (las otras versiones de sí mismo) y darse cuenta: "Oye, soy el único que dice que la respuesta es un plátano. Probablemente eso esté mal".

El sistema utiliza entonces estas puntuaciones para dar "recompensas" a los pasos específicos que fueron consistentes y "castigos" a los pasos que fueron alucinaciones. Con el tiempo, el robot aprende a confiar en los pasos que tienen sentido en el grupo y deja de inventar hechos solo para encajar en la historia.

Los Resultados: Robots más Inteligentes y más Honestos

El equipo probó este nuevo método en algunos de los desafíos de matemáticas y razonamiento más difíciles disponibles. Utilizaron modelos como Qwen3 y Llama3. Los resultados fueron impresionantes.

Mejor Matemáticas: En las pruebas matemáticas estándar, el nuevo método ayudó a los robots a obtener puntuaciones más altas que antes. Por ejemplo, en una prueba, el nuevo método mejoró la puntuación en aproximadamente un 1.8% en comparación con los métodos de entrenamiento estándar.
Menos Alucinaciones: Lo más importante es que los robots cometieron muchos menos de esos errores "sensibles al contexto". El número de veces que se confundían con sus propias historias disminuyó significamente.
Sin Ayuda Externa Necesaria: A diferencia de otros métodos que requieren que el robot busque hechos en una enciclopedia gigante (lo cual es lento y costoso), este método utiliza el propio cerebro del robot para verificarse a sí mismo.

Los investigadores también notaron algo genial durante el entrenamiento: a medida que los robots aprendían, su "consistencia" aumentaba. Empezaron a estar de acuerdo consigo mismos con más frecuencia, y el número de pasos confusos e inventados disminuyó. Era como ver a un estudiante pasar de estar distraído y confundido a estar enfocado y seguro.

Por qué esto es Importante

Este artículo sugiere una nueva forma de solucionar uno de los mayores problemas de la IA: la tendencia a sonar seguro de sí mismo mientras se está equivocado. Al darse cuenta de que el robot a menudo conoce la respuesta pero simplemente se pierde en la historia, los autores encontraron una forma de mantenerlo en el camino correcto.

No solo lo supusieron; lo midieron. Demostraron que cuando se aísla el error, el conocimiento está ahí. Probaron que su nuevo método reduce estos tipos específicos de errores. Aunque el artículo señala que esto requiere un poco más de potencia de cómputo para ejecutarse (porque los robots tienen que verificarse a sí mismos varias veces), el intercambio parece valer la pena para hacer que la IA sea más fiable.

En resumen, los autores han dado a la IA una nueva herramienta: un espejo. En lugar de limitarse a mirar hacia el siguiente paso de la historia, el robot ahora aprende a mirar hacia atrás y preguntarse: "¿Encaja esto con todo lo que he dicho hasta ahora?". Y al hacerlo, deja de inventar hechos y empieza a decir la verdad.

Resumen Técnico: Optimización de Política de Grupo Relativa de Autoconsistencia a Nivel de Paso para LLMs

1. Definición del Problema: Alucinaciones Fácticas Sensibles al Contexto

Aunque los Grandes Modelos de Lenguaje (LLMs) han demostrado capacidades sólidas en el razonamiento de cadena larga, siguen siendo propensos a generar afirmaciones seguras pero incorrectas, conocidas como alucinaciones. Los autores identifican un modo de fallo específico y prevalente denominado Alucinaciones Fácticas Sensibles al Contexto.

A diferencia de las alucinaciones por "brecha de conocimiento" donde el modelo carece de la información necesaria, las alucinaciones sensibles al contexto ocurren cuando el modelo posee el conocimiento fáctico correcto pero produce un error fáctico debido a la interferencia del contexto de razonamiento circundante. El artículo demuestra que si un paso de razonamiento alucinado se extrae y se reformula como una pregunta independiente, el modelo puede responderla correctamente. Sin embargo, dentro de la compleja trayectoria de razonamiento de múltiples pasos, el modelo es inducido al error por el contexto, lo que conduce a una cascada de errores y a una respuesta final incorrecta. El análisis empírico revela que este tipo de alucinación representa casi el 70% de los errores en modelos de razonamiento, una proporción que persiste incluso a medida que las capacidades del modelo mejoran y los errores por brecha de conocimiento disminuyen.

2. Metodología: SSC-GRPO

Para mitigar estas alucinaciones sin depender de bases de conocimiento externas, los autores proponen la Optimización de Política de Grupo Relativa de Autoconsistencia a Nivel de Paso (SSC-GRPO). Este método integra la detección de autoconsistencia directamente en el bucle de entrenamiento de aprendizaje por refuerzo (RL) de la Optimización de Política de Grupo Relativa (GRPO).

Mecanismo Central

El enfoque aprovecha la observación de que GRPO genera naturalmente múltiples trayectorias de razonamiento (rollouts) para un solo prompt, lo cual se alinea con la detección de alucinaciones basada en la autoconsistencia. El método procede de la siguiente manera:

Rollouts de Grupo: Para una consulta dada, el modelo de política genera un grupo de $G$ trayectorias de razonamiento (rollouts).
Puntuación de Autoconsistencia a Nivel de Paso: En lugar de asignar una recompensa solo al final de una trayectoria, SSC-GRPO evalúa cada paso de razonamiento $o_{i,k}$ $o_{i, k}$ dentro de un rollout $i$ $i$ frente a los pasos correspondientes en otros rollouts $j$ $j$ dentro del mismo grupo.
- El modelo actúa como su propio juez, utilizando un prompt de Inferencia de Lenguaje Natural (NLI) para determinar si un paso en el rollout $i$ implica, contradice o es neutral respecto al paso correspondiente en el rollout $j$ .
- Se computa una puntuación de consistencia agregando estos juicios de NLI, ponderados por la recompensa de resultado de la trayectoria de referencia $j$ (asignando mayor peso a los pasos en rollouts que conducen a respuestas finales correctas).
Reescalado de Ventaja de Paso: La ventaja estándar de GRPO (derivada de la recompensa de resultado final) se redistribuye a través de los pasos de la trayectoria.
- Los pasos con altas puntuaciones de autoconsistencia reciben una mayor parte de la ventaja si la trayectoria es correcta, o una penalización menor si la trayectoria es incorrecta.
- Esto se logra mediante un coeficiente de reescalado $w_{i,k}$ que ajusta la ventaja para cada paso mientras preserva la ventaja total a nivel de trayectoria.
Optimización de la Política: El modelo se actualiza utilizando un objetivo de tipo PPO que maximiza la suma ponderada de estas ventajas a nivel de paso, fomentando efectivamente que el modelo genere pasos que sean consistentes con la mayoría de las rutas de razonamiento correctas.

3. Contribuciones Clave

El artículo describe tres contribuciones primarias:

Identificación de un Tipo Dominante de Alucinación: Los autores proporcionan un análisis detallado demostrando que las alucinaciones fácticas sensibles al contexto son el modo de error dominante en los modelos de razonamiento actuales. Demuestran que estos errores surgen de la interferencia contextual en lugar de la falta de conocimiento, un fenómeno que los métodos de detección tradicionales suelen pasar por alto.
Algoritmo SSC-GRPO: Proponen un nuevo método de RL que utiliza señales de autoconsistencia a través de múltiples rollouts para generar recompensas a nivel de paso. Esto permite que el modelo aprenda a evitar errores fácticos inducidos por el contexto sin requerir fuentes de conocimiento externas o herramientas de verificación de hechos.
Validación Empírica: Experimentos extensos en tareas de razonamiento matemático y benchmarks de alucinaciones validan que SSC-GRPO reduce eficazmente la proporción de alucinaciones sensibles al contexto y mejora el rendimiento general del razonamiento.

4. Resultados Experimentales

Los autores evaluaron SSC-GRPO en Qwen3-4B-Base, Qwen3-4B-Instruct y Llama3-8B-Instruct, comparándolo con baselines que incluyen modelos Vanilla, GRPO estándar, FSPO (Optimización de Política de Paso Consciente de la Factualidad) y SEED-GRPO.

Razonamiento Matemático: SSC-GRPO alcanzó un rendimiento de estado del arte en benchmarks que incluyen GSM8K, MATH-500, AIME-24 y AIME-25. En Qwen3-4B-Base, superó al baseline en un promedio del 1.80%.
Mitigación de Alucinaciones: En benchmarks de alucinaciones (HaluEval, TruthfulQA, HotpotQA), el método demostró un rendimiento superior comparado con los baselines, destacando particularmente que logra estos resultados utilizando solo el conocimiento interno del modelo, a diferencia de métodos como FSPO que dependen de la recuperación externa.
Análisis de Alucinaciones: El análisis post-entrenamiento mostró una reducción significativa en la proporción de alucinaciones fácticas sensibles al contexto (cayendo de ~22.76% a ~16.90% en una configuración) y un aumento correspondiente en los pasos de razonamiento correctos.
Dinámica de Entrenamiento: El seguimiento de las proporciones de consistencia durante el entrenamiento reveló un aumento constante en los pasos consistentes y una disminución en los pasos inconsistentes, confirmando que el proceso de RL mejora con éxito la consistencia del razonamiento.

5. Significado y Reivindicaciones

El artículo afirma ofrecer una nueva perspectiva para detectar y mitigar las alucinaciones en el proceso de razonamiento de los LLMs. Al desplazar el enfoque de la verificación de la respuesta final hacia la autoconsistencia a nivel de paso, los autores argumentan que es posible entrenar a los modelos para reconocer y corregir sus propios errores inducidos por el contexto.

La importancia radica en el hallazgo de que los modelos a menudo "saben" los hechos pero fallan al aplicarlos correctamente bajo contextos de razonamiento complejos. SSC-GRPO aborda esto reforzando la consistencia de los pasos de razonamiento intermedios, mitigando así el tipo específico de alucinación que afecta al razonamiento de cadena larga. Los autores mantienen una postura modesta, reconociendo que, si bien su método es efectivo, introduce una carga computacional adicional debido a las comprobaciones de autoconsistencia y actualmente se evalúa en familias de modelos específicas (Qwen y Llama) en las escalas de 4B y 8B de parámetros.