← Últimos artículos
🤖 machine learning

Steering Recurrent Reasoners at Inference Time with Readout Feedback

Este artículo introduce Readout Feedback (RoFB), un método de inferencia en tiempo de ejecución que no requiere entrenamiento y que mejora el rendimiento de los modelos de razonamiento recurrente mediante el uso de probabilidades de lectura intermedias para guiar la dinámica latente, logrando resultados superiores en tareas como Sudoku y Laberinto en comparación con el simple aumento de los pasos de computación o el muestreo de múltiples trayectorias.

Autores originales: Shunsuke Kamiya, Masanori Koyama, Seongcheol Jeong, Fumiya Uchiyama, Kenji Kubo, Kohei Hayashi, Masahiro Suzuki, Yutaka Matsuo

Publicado 2026-08-26
📖 7 min de lectura🧠 Análisis profundo

Autores originales: Shunsuke Kamiya, Masanori Koyama, Seongcheol Jeong, Fumiya Uchiyama, Kenji Kubo, Kohei Hayashi, Masahiro Suzuki, Yutaka Matsuo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En la búsqueda de construir máquinas que puedan pensar, los investigadores han dependido durante mucho tiempo de un principio simple: dale más tiempo a la computadora y es probable que encuentre una mejor respuesta. Así como un matemático humano podría hacer una pausa para refinar una demostración o un jugador de ajedrez podría reconsiderar un movimiento tras un momento de reflexión, los sistemas modernos de inteligencia artificial están siendo diseñados cada vez más para pausar, reconsiderar e iterar. Este enfoque, conocido como computación en tiempo de inferencia, permite a los modelos generar múltiples caminos posibles de razonamiento, evaluarlos y seleccionar el más prometedor. Si bien esta estrategia ha demostrado ser eficaz para los grandes modelos de lenguaje, una clase diferente de máquinas —los modelos recurrentes— opera bajo una lógica ligeramente distinta. Estos sistemas resuelven problemas actualizando repetidamente un estado interno, una especie de libreta de notas mental, una y otra vez. En lugar de generar muchos borradores separados para comparar, refinan un único proceso de pensamiento evolutivo paso a paso. La pregunta que ha persistido es si este único hilo de pensamiento puede ser guiado de manera más efectiva mientras está ocurriendo, en lugar de simplemente dejarlo seguir su curso o intentar muchos puntos de partida diferentes.

Un equipo de investigadores de la Universidad de Tokio ha propuesto una nueva forma de dirigir estos procesos de pensamiento internos en tiempo real. Llaman a su método Readout Feedback (Retroalimentación de Lectura), una técnica que escucha las conjeturas intermedias del propio modelo y utiliza esa información para empujar suavemente su estado interno hacia una solución correcta. La idea central es sorprendentemente intuitiva: a medida que un modelo se acerca a resolver un rompecabezas, sus representaciones internas de las diferentes partes del problema comienzan a organizarse. Los elementos que pertenecen a la misma categoría naturalmente se agrupan, mientras que aquellos que pertenecen a categorías diferentes se alejan. Los investigadores descubrieron que podían detectar este patrón de organización e inyectar una fuerza sutil en el sistema para fomentarlo, ayudando efectivamente al modelo a encontrar la salida de la confusión sin necesidad de reentrenarlo o dotarlo de más potencia de cálculo.

Para probar esta idea, el equipo aplicó su método a tres tipos diferentes de modelos de razonamiento recurrente, cada uno con una arquitectura interna única, y les pidió que resolvieran dos acertijos clásicos: Sudoku y Laberinto. En el Sudoku, el objetivo es llenar una cuadrícula con números de modo que cada fila, columna y sección contenga todos los dígitos del uno al nueve. En la tarea del Laberinto, el modelo debe encontrar el camino más corto a través de una cuadrícula llena de obstáculos. Los investigadores sometieron a estos modelos a su proceso de resolución estándar, que implica actualizar su estado interno cientos de veces, y luego compararon los resultados del proceso estándar contra el proceso mejorado con su nuevo bucle de retroalimentación. Encontraron que, en cuatro de las seis combinaciones de modelo y acertijo, el método de retroalimentación produjo resultados significativamente mejores. En algunos casos, el modelo mejorado resolvió los acertijos con un nivel de precisión que el modelo estándar no podía alcanzar incluso si se le permitiera funcionar durante mucho más tiempo o si los investigadores probaran docenas de puntos de partida diferentes.

El mecanismo detrás de esta mejora se basa en la propia confianza del modelo. A medida que el modelo procesa el acertijo, genera una probabilidad para cada posible respuesta en cada paso. Los investigadores observaron que cuando un modelo está estancado o deambulando, estas probabilidades son desordenadas y carecen de estructura. Sin embargo, cuando el modelo está a punto de hallar una solución, las probabilidades de las respuestas correctas comienzan a alinearse, formando un patrón claro. El nuevo método aprovecha este patrón. En momentos específicos durante el proceso de resolución, calcula la distancia entre los patrones de probabilidad de las diferentes partes del rompecabezas. Si se predice que dos partes del rompecabezas tienen respuestas diferentes, el sistema aplica una fuerza que separa sus estados internos. Si se predice que son iguales, lo incentiva a permanecer cerca. Esto crea una dinámica de autocorrección que ayuda al modelo a escapar de callejones sin salida y a converger en la solución correcta mucho más rápido.

Los resultados fueron sorprendentes en su especificidad. Para uno de los modelos, un sistema compacto diseñado para el razonamiento complejo, el método de retroalimentación aumentó su tasa de éxito en Sudoku de aproximadamente el sesenta y ocho por ciento a más del setenta y cuatro por ciento, una ganancia sustancial lograda sin cambiar el código subyacente o los datos de entrenamiento del modelo. Para otro modelo que abordaba el acertijo del Laberinto, el método le permitió alcanzar un alto nivel de precisión con muchos menos pasos computacionales de los que requería el enfoque estándar. De hecho, el modelo mejorado superó en ocasiones al modelo estándar incluso cuando este último tenía permitido realizar cientos de pasos adicionales o muestrear docenas de caminos potenciales diferentes. Esto sugiere que la clave para un mejor rendimiento no era simplemente hacer más trabajo, sino hacer el tipo de trabajo correcto al guiar activamente la dinámica interna del sistema.

Sin embargo, los investigadores fueron cuidadosos al señalar que este método no es una solución universal. En dos de los seis casos de prueba, el bucle de retroalimentación no proporcionó ningún beneficio mensurable, y en un caso específico, apenas marcó la diferencia porque el modelo ya estaba desempeñándose a un nivel casi perfecto. Esto indica que la técnica funciona mejor cuando el modelo es capaz de resolver el problema pero tiene dificultades para organizar sus pensamientos de manera efectiva. Cuando el modelo ya tiene una alta confianza o cuando la estructura interna del problema no se presta para este tipo de agrupación, la señal de retroalimentación tiene poco sobre lo que actuar. El estudio sugiere que, si bien este enfoque desbloquea una capacidad oculta dentro de los modelos existentes, no es una varita mágica que pueda resolver cualquier tipo de problema de razonamiento.

Las implicaciones de este trabajo se extienden más allá de la simple resolución de acertijos. Ofrece una nueva perspectiva sobre cómo se puede controlar la inteligencia artificial durante el propio proceso de pensamiento. En lugar de depender únicamente de la fuerza bruta —ejecutar más pasos o muestrear más opciones—, este método demuestra que un modelo puede ser dirigido por sus propias señales intermedias. Esto es similar a una persona que resuelve un problema complejo que, en lugar de empezar de cero cuando se queda trabada, hace una pausa para revisar sus notas actuales, se da cuenta de qué partes de su lógica entran en conflicto y ajusta su pensamiento en consecuencia. Los investigadores descubrieron que este control de bucle cerrado podía aplicarse a modelos congelados, es decir, sistemas que ya han sido entrenados y que ya no están aprendiendo, simplemente añadiendo una capa de retroalimentación durante la fase de resolución.

Aunque el estudio actual se limita a tipos específicos de acertijos lógicos y modelos de pequeña escala, los hallazgos sugieren una dirección prometedora para el futuro de los sistemas de razonamiento. Los autores reconocen que aplicar esta técnica a los grandes modelos de lenguaje, que manejan vocabularios vastos y un lenguaje humano complejo, sería un desafío significativo y podría requerir adaptaciones diferentes. No obstante, el éxito en estas tareas estructuradas proporciona una fuerte evidencia de que la dinámica interna de los modelos de razonamiento contiene un potencial infrautilizado. Al escuchar la propia voz del modelo y utilizarla para guiar el viaje, los investigadores han encontrado una forma de hacer que estos sistemas piquen de manera más efectiva, demostiendo que, a veces, la mejor manera de mejorar el razonamiento de una máquina no es enseñarle más, sino ayudarla a escucharse a sí misma.

¿Ahogado en artículos de tu campo?

Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.

Probar Digest →