Sample More, Reflect Less: Self-Refine and Reflexion Lose to Repeated Sampling at Equal Token Cost, from 1.5B to 7B

El Gran Experimento de Potenciación Cerebral de la IA

Imagina que tienes un estudiante muy inteligente pero un poco distraído. Le das un problema matemático difícil y él intenta resolverlo. A veces lo logra; otras veces se equivoca. En el mundo de la inteligencia artificial, los investigadores han estado tratando de descubrir cómo hacer que estos "estudiantes" (llamados Modelos de Lenguaje Extensos) piensen mejor sin tener que reconstruirlos desde cero. La idea popular ha sido decirle a la IA que "piense más duro". Esto significa pedirle que planifique sus pasos, discuta consigo misma, critique sus propios errores o reescriba sus respuestas antes de entregarlas. Es como decirle a un estudiante: "No te limites a escribir la respuesta; escribe todo un ensayo sobre por qué crees que esa respuesta es correcta, revisa tu trabajo y, tal vez, inténtalo de nuevo".

La gran pregunta es: ¿Todo ese pensamiento adicional realmente ayuda, o es solo una pérdida de tiempo? El concepto clave aquí son los tokens. Piensa en los tokens como las "palabras" o las "unidades de esfuerzo" que una IA gasta. Cada vez que la IA escribe una palabra, cuesta un token. Si un método hace que la IA escriba 1,000 palabras para resolver un problema que podría resolverse con 100, ha gastado diez veces más esfuerzo. El debate científico es si ese esfuerzo adicional proviene de la estrategia (como la autocrítica) o simplemente del hecho de que la IA escribió más palabras. Si le das a un estudiante diez veces más papel, es posible que obtenga una mejor nota solo porque tuvo más espacio para intentarlo, no porque de repente se haya vuelto más inteligente. Este artículo se propone probar exactamente eso: cuando le das diferentes estrategias la misma cantidad exacta de papel (tokens), ¿cuál gana realmente?

El Artículo: Más Muestras, Menos Reflexión

Este artículo, titulado "Sample More, Reflect Less" (Muestrear más, reflexionar menos), es un experimento masivo diseñado para resolver la disputa sobre si la IA necesita "reflexionar" sobre su propio trabajo para volverse más inteligente. Los investigadores tomaron siete métodos populares diferentes que hacen que la IA "piense más duro" —incluyendo métodos donde la IA se critica a sí misma, discute con copias de sí misma o intenta elegir la mejor respuesta de una lista— y los enfrentaron contra una base muy simple y aburrida: el muestreo repetido.

La base es como lanzar una moneda diez veces y elegir el lado que salió más veces. En términos de IA, esto significa hacer la misma pregunta diez veces y simplemente tomar la respuesta más común. Los investigadores se aseguraron de que cada método utilizara exactamente el mismo número de tokens (palabras generadas) para que el campo de juego estuviera perfectamente nivelado. Probaron esto en tres tamaños diferentes de modelos de IA (1.5 mil millones, 3 mil millones y 7 mil millones de parámetros) utilizando dos evaluaciones de matemáticas (GSM8K y MATH-500) con 150 preguntas cada una.

El Gran Hallazgo:
Los resultados fueron sorprendentes. En casi todos los casos, los métodos sofisticados que hacían que la IA "reflexionara", "criticara" o "discutiera" perdieron ante el método simple de hacer la pregunta varias veces y contar los votos.

Cuando los investigadores analizaron de cerca por qué perdieron los métodos sofisticados, encontraron un patrón claro. Los métodos que pedían a la IA juzgar su propio trabajo (como reescribir su respuesta o elegir la "mejor" de una lista) fueron consistentemente peores que la base. Por ejemplo, en el modelo más pequeño de 1.5 mil millones de parámetros, un método llamado "Best-of-N" (donde la IA elige lo mejor de 8 respuestas) obtuvo una puntuación aproximadamente entre 8 y 11 puntos porcentuales menor que simplemente contar la respuesta más común entre esos mismos 8 intentos. Incluso en el modelo más grande de 7 mil millones, la brecha desapareció: la diferencia se volvió estadísticamente indistinguible de cero, lo que significa que el "juez" ya no era claramente peor que el "contador", y la penalización ya no era distinguible de cero.

El artículo descarta explícitamente la idea de que "pensar más duro" a través de la autorreflexión sea el ingrediente mágico. En cambio, sugiere que gastar tokens en otro intento es una mejor inversión que gastarlos en la autocorrección —en cada tamaño que los investigadores pudieron probar—. Si tienes suficientes tokens para escribir un largo ensayo crítico sobre tu respuesta, es mejor usar esos tokens para escribir dos o tres respuestas frescas e independientes y simplemente elegir la más popular.

El Método "Fantasma" y la Lección de que el Tamaño Importa

Una de las partes más lúdicas y reveladoras del experimento involucró un método llamado Reflexion. Se supone que este método funciona así: la IA intenta resolver un problema, luego se pregunta a sí misma: "¿Hice esto bien?". Si dice "No", lo intenta de nuevo. Si dice "Sí", se detiene.

Los investigadores encontraron un error curioso en el modelo más pequeño (1.5B). En este modelo diminuto, la IA nunca dijo "No". Juzgó cada una de sus primeras respuestas como "correctas", incluso cuando estaban mal. Por lo tanto, el método de Reflexion nunca llegó a activar un reintento. Se colapsó silenciosamente en un único intento barato. Como fue tan barato (no gastó tokens extra), parecía que le iba bien en comparación con los métodos costosos. Pero cuando los investigadores forzaron a la IA a reintentar tres veces independientemente de lo que pensara, el rendimiento cayó significamente, demostrando que el mecanismo de "reflexión" en sí mismo estaba perjudicando la puntuación.

A medida que los modelos se hacían más grandes (de 1.5B a 7B), la brecha entre "contar votos" y "dejar que la IA juzgue" comenzó a reducirse. En 7 mil millones de parámetros, la IA era lo suficientemente buena juzgando como para que dejara de ser perjudicial; la diferencia ya no era distinguible de cero. Sin embargo, el artículo señala que, incluso a este tamaño, la IA no era mejor juzgando que contando; simplemente dejó de ser peor. Los investigadores sugieren que, para que una IA realmente supere al método de "conteo de votos", podría necesitar ser entrenada específicamente para ser un juez, no solo pedírsele que juzgue sobre la marcha.

Lo Que Esto Significa para el Futuro

El artículo concluye con un mensaje contundente para cualquiera que construya estos sistemas de IA: No compliques las cosas. Si tienes un presupuesto de tokens (palabras) para gastar, la forma más eficiente de obtener una respuesta correcta es a menudo generar muchos intentos diferentes y dejar que la mayoría decida, en lugar de pedirle a la IA que critique y reescriba su propio trabajo.

Los autores también advierten que algunos métodos pueden parecer buenos en el papel pero fallar en la práctica porque "ocultan" su verdadero costo. Si un método decide por sí mismo cuándo detenerse (como Reflexion), puede detenerse inmediatamente y ahorrar dinero, haciendo que parezca eficiente, pero no está realizando realmente el trabajo para el que fue diseñado.

En última instancia, este estudio sugiere que para problemas matemáticos con respuestas claras de verdadero o falso, la "magia" de la autorreflexión es un mito —al menos para los modelos probados hasta ahora. La herramienta más poderosa no es una estrategia más inteligente; es simplemente intentarlo más veces. Como dijeron los investigadores, gastar tokens en reconsiderar una respuesta es un peor uso de ellos que gastar los mismos tokens en otro intento. La IA no necesita que se le diga que piense más duro; solo necesita que se le den más oportunidades de intentarlo.