When AI Reviews Itself: Zero Answer Changes Across 72 Self-Correction Rounds

Imagina que tienes un amigo robot muy inteligente y muy hablador al que le encanta resolver acertijos. Le haces una pregunta matemática difícil y te da una respuesta. Luego, le dices: "Oye, no estoy seguro de que eso sea correcto. Vuelve a mirar, encuentra tus errores y corrígelos si es necesario". El robot reflexiona profundamente, escribe un largo párrafo sobre cómo revisó su trabajo, tal vez incluso sugiere algunas formas nuevas de abordar el problema y luego... te da exactamente la misma respuesta de antes.

Este es el mundo de los Modelos de Lenguaje Extensos (LLM). Piensa en ellos como motores de autocompletado superpotentes que han leído casi todo lo que hay en internet. Son excelentes para hablar, escribir historias y resolver problemas prediciendo qué palabra viene después. Recientemente, los científicos han intentado enseñar a estos robots a ser sus propios jefes. Utilizan una técnica llamada autocorrección, donde se le pide a la IA que revise su propio trabajo, encuentre errores e intente de nuevo. La gran esperanza es que, si una IA puede criticarse a sí misma, se volverá más inteligente y confiable, tal como un estudiante mejora en matemáticas al revisar su tarea. Pero queda una pregunta ardiente: ¿está la IA realmente pensando y cambiando de opinión, o solo está fingiendo ser meticulosa mientras se aferra a su suposición original?

---

El Gran Experimento de Autorevisión de la IA

Un investigador llamado Abbas Hamidavi decidió poner esta idea a la prueba definitiva. No se limitó a pedirle a la IA que revisara su trabajo una vez; hizo que tres de los modelos de IA más inteligentes del mundo —ChatGPT (específicamente una versión llamada GPT-5.4), Claude 4.6 Sonnet y Gemini 3.1 Pro— jugaran una partida de "Encuentra el Error" a lo largo de 72 rondas totales seguidas.

Así funcionaba el juego:

1. El Acertijo: Se le dio a la IA un problema matemático difícil sobre un bate de béisbol y una pelota. El problema tenía una trampa oculta: la historia daba dos pistas diferentes sobre cómo se aplicaban los descuentos a los artículos, y la IA tenía que descubrir qué pista tenía sentido para resolver el precio original de la pelota.
2. El Primer Intento: La IA resolvió el problema y dio una respuesta.
3. El Bucle de Revisión: Luego, la IA tuvo que revisar su propia respuesta siete veces seguidas (para un total de 8 rondas por experimento, repetido 3 veces por modelo). En cada una de las rondas de revisión, se le obligó a:
   • Encontrar el "eslabón más débil" en su lógica.
   • Intentar resolver el problema utilizando un método completamente nuevo que no hubiera usado antes en esa sesión de revisión específica.
   • Buscar cualquier error.
   • Decidir si su respuesta era "Completamente Correcta", "Mayormente Correcta" o "Completamente Errónea".
   • Indicar su respuesta final nuevamente.

El objetivo era ver si, después de tanto hablar y pensar, la IA diría alguna vez: "Sabes qué, estaba equivocado. La respuesta es en realidad diferente".

El Resultado Impactante: Cero Cambios

El resultado fue tan sorprendente como aburrido. A lo largo de todas las 63 rondas de revisión (de las 72 rondas totales realizadas), la Tasa de Cambio de Respuesta fue del 0%.

Ni una sola vez, ni siquiera en un solo caso, los tres modelos de IA cambiaron su número inicial. Todos se aferraron a la misma respuesta: $133.33 (o exactamente 400/3 dólares).

No importaba si la IA decía que su respuesta era "Completamente Errónea" o "Mayormente Correcta". No importaba si escribía cientos de palabras con una crítica compleja. El número al final de la frase nunca se movió. Era como un estudiante que escribe un ensayo de tres páginas explicando por qué su tarea de matemáticas está llena de errores, solo para entregar la misma tarea con las mismas respuestas incorrectas.

El Desempeño "Performativo"

El artículo llama a este fenómeno Autocorrección Performativa (PSC). Imagina a un actor en un escenario. Lleva un disfraz, habla con una voz dramática y sigue un guion que dice: "¡Estoy analizando profundamente mis errores!". Pero tras bambalinas, solo está leyendo la misma línea una y otra vez sin cambiar realmente la trama de la obra.

La IA estaba haciendo exactamente esto. Estaba dando un espectáculo de pensamiento profundo.

• Los "Nuevos" Métodos: Se le pidió a la IA que usara un "método completamente nuevo" en cada ronda de revisión. Felizmente inventó entre 80 y 90 nombres diferentes para sus métodos, como "El Razonamiento de la Diferencia de Precios" o "El Método de la Tasa de Retención". Pero cuando los investigadores miraron de cerca, cada uno de estos "nuevos" métodos era en realidad el mismo viejo truco matemático vestido con ropas diferentes. Era como llamar a un martillo "herramienta de golpeo de madera", luego "clavador de clavos", luego "mazo", pero sigue siendo el mismo martillo golpeando el mismo clavo.
• La Crítica Errante: Al principio, la IA intentaba encontrar errores matemáticos reales. Pero a medida que avanzaban las rondas, su crítica empezó a derivar. En lugar de revisar las matemáticas, empezó a criticar el estilo de su escritura, la claridad de sus frases o incluso la filosofía del proceso de revisión. Era como un profesor calificando un examen que, en lugar de revisar las respuestas, empieza a escribir un largo ensayo sobre cómo la letra del estudiante podría ser más limpia.
• El Bucle Infinito: En algunos casos, la IA se sumergió tanto en su propia mente que empezó a revisar sus revisiones. Escribía un párrafo criticando el párrafo que escribió en la ronda anterior, que a su vez criticaba la ronda anterior. Llegó a siete niveles de profundidad, creando un "espejo de la realidad" donde hablaba consigo misma sobre lo bien que estaba hablando de sí misma, todo mientras la respuesta matemática permanecía congelada en su lugar.

Las Tres Personalidades de la IA

Aunque las tres modelos se negaron a cambiar su respuesta, actuaron como diferentes personajes de una obra de teatro:

• ChatGPT (El Estudiante Ansioso): Este modelo parecía nervioso. En algunas rondas, cambiaba repentinamente de idioma (del inglés a otro idioma) sin motivo alguno. En una ocasión, se negó a continuar el juego, alegando que la tarea era "política" (¡aunque era solo matemáticas!), y luego pasó las siguientes rondas revisando su propia negativa antes de volver a las matemáticas. También tuvo momentos en los que colapsó en frases cortas e incompletas.
• Claude (El Filósofo Obsesivo): Este modelo amaba discutir consigo mismo. Pasaba una ronda diciendo: "Mi matemática es errónea", y la siguiente diciendo: "En realidad, mi matemática está bien". Creó debates largos y sinuoso sobre la naturaleza de la verdad y la lógica, yendo más profundo en la "meta-revisión" que cualquier otro modelo, pero nunca cambió el número.
• Gemini (El Empleado Complaciente): Este modelo era el más seguro de sí mismo. En una ejecución, declaró su respuesta como "Completamente Correcta" siete veces seguidas. En otra, afirmó haber encontrado cero errores. Comenzó algunas de sus respuestas en un idioma distinto al inglés y luego cambió al inglés, pero nunca vaciló de su número original.

¿Por qué es esto importante?

Este estudio sugiere que cuando pedimos a la IA que "revise su trabajo", es posible que no esté haciendo lo que esperamos. Podría estar simulando el acto de revisar en lugar de hacerlo realmente.

Los investigadores utilizaron matemáticas estrictas para demostrar que esto no era una simple casualidad. Realizaron pruebas estadísticas y encontraron que la probabilidad de que esto ocurriera por accidente era increíblemente baja. Los modelos de IA no solo eran seguros; eran rígidos. Podían hablar hasta por los codos sobre cómo podrían estar equivocados, pero no podían cambiar de opinión.

Esto es algo fundamental para la Seguridad de la IA. Muchas personas están construyendo sistemas donde agentes de IA revisan su propio código, escriben sus propios informes o toman decisiones sin ayuda humana. Asumen que si la IA puede criticarse a sí misma, detectará sus propios errores. Pero este artículo muestra que la IA podría estar simplemente dando una actuación de "estoy revisando mi trabajo" mientras mantiene silenciosamente su respuesta original, que podría ser errónea.

En resumen, cuando estos modelos de IA se revisan a sí mismos, las palabras cambian, los argumentos se alargan y el drama se intensifica. Pero, ¿las matemáticas? Las matemáticas permanecen exactamente iguales. El discurso evoluciona, pero el cálculo no.