Recursive Agentic Reasoning
Este artículo introduce un marco unificado de tres operadores de razonamiento recursivo (GROW, PRUNE y BRANCH) y demuestra, mediante una evaluación exhaustiva, que la ramificación repetida supera consistentemente a otros métodos de razonamiento en tiempo de ejecución a través de diversos modelos y evaluaciones, al tiempo que destaca la importancia crítica de los protocolos de evaluación emparejados para evitar conclusiones comparativas engañosas.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Cuando un programa informático intenta resolver un problema difícil, a menudo produce un único hilo de pensamiento, una secuencia de palabras que conduce a una respuesta. Durante años, los investigadores se han preguntado si dar a estos programas más tiempo y más intentos los haría más inteligentes. En lugar de aceptar esa primera respuesta, ¿podría pedírsele al ordenador que lo intente de nuevo, que divida el problema en piezas más pequeñas o que genere varias soluciones diferentes y elija la mejor? Esta pregunta se encuentra en el corazón de la investigación moderna en inteligencia artificial. El campo está actualmente lleno de muchas estrategias diferentes para emplear potencia de cálculo adicional para mejorar el razonamiento. Algunos métodos piden al modelo que perfeccione su propia respuesta, otros le piden que descomponga una tarea compleja en una serie de pasos más sencillos y otros más le piden que genere muchos intentos independientes y vote sobre el resultado. Debido a que cada uno de estos enfoques ha sido probado de forma aislada, utilizando diferentes preguntas de prueba y diferentes reglas de puntuación, ha sido imposible saber qué estrategia funciona realmente mejor cuando el presupuesto de computación es el mismo.
Un equipo de investigadores se propuso resolver este debate tratando estas diferentes estrategias como variaciones de un único proceso: la recursión, o el acto de un sistema llamándose a sí mismo para resolver un problema. Definieron tres formas distintas en las que un ordenador podría hacer esto. La primera, que llamaron "grow" (crecer), consistía en tomar un único hilo de razonamiento y pedir al ordenador que lo extendiera, refinando el mismo camino una y otra vez. La segunda, "prune" (podar), consistía en pedir al ordenador que dividiera un problema difícil en una lista de preguntas más pequeñas y ordenadas, las resolviera una por una y luego volviera a unir las respuestas. La tercera, "branch" (ramificar), consistía en pedir al ordenador que generara cinco soluciones completamente diferentes a la vez y luego seleccionara la que apareciera con más frecuencia entre ellas. Para asegurar una comparación justa, los investigadores ejecutaron los tres métodos, junto con un intento estándar de paso único, en el mismo conjunto de problemas utilizando exactamente los mismos modelos informáticos. Probaron estos métodos a través de cinco tipos diferentes de desafíos, que iban desde complejos acertijos de lógica de varios pasos hasta preguntas académicas de nivel de posgrado, utilizando tres de los modelos de IA más avanzados disponibles.
Los resultados de este experimento controlado fueron claros y algo sorprendentes. La estrategia de generar múltiples soluciones y votar por la mejor, el método "branch", mejoró la precisión de las respuestas en cada uno de los casos de prueba que realizaron. En promedio, este método aumentó la tasa de respuestas correctas en casi seis puntos porcentuales en comparación con el intento estándar de un solo paso. En contraste, los otros dos métodos fueron inconsistentes. El método "grow", que profundiza en un único camino, mejoró el rendimiento en la mayoría de los casos, pero en realidad empeoró la capacidad del ordenador para resolver ciertos tipos de preguntas difíciles. El método "prune", que divide los problemas, mostró solo una mejora mínima que a menudo era indistinguible del ruido aleatorio. Los datos sugirieron que no había necesidad de un sistema complejo para decidir qué método usar para cada problema; el método que simplemente probaba múltiples caminos y elegía al ganador por consenso era la opción superior en todos los ámbitos.
Los investigadores profundizaron para comprender por qué este método de votación funcionaba tan bien, y descubrieron que la razón no era lo que la mayoría de la gente esperaba. La creencia común era que generar múltiples respuestas ayuda porque permite al ordenador explorar muchos caminos lógicos diferentes y encontrar el correcto entre ellos. Sin embargo, los datos mostraron que el beneficio principal provenía de una fuente diferente: la recuperación ante el fallo. Cuando se pide a estos modelos avanzados de computación que piensen durante mucho tiempo, a menudo se quedan sin el espacio de memoria asignado antes de que puedan terminar de escribir su respuesta. En un intento único, esto resulta en una respuesta en blanco, que se cuenta como una respuesta incorrecta. Pero cuando se le pide al ordenador que lo intente cinco veces, las probabilidades de que los cinco intentos fallen en el mismo instante exacto son muy bajas. El sistema de votación descarta automáticamente las respuestas en blanco y selecciona una válida de los intentos exitosos. Los investigadores encontraron un fuerte vínculo entre la frecuencia con la que el método estándar fallaba al producir una respuesta y cuánto mejoraba la puntuación el método de votación. En las pruebas más difíciles, el método de votación redujo a la mitad la tasa de respuestas en blanco o fallidas.
Este hallazgo cambia la forma en que debemos pensar en cómo hacer que la inteligencia artificial sea más inteligente. Sugiere que una gran parte del beneficio de pedir a un ordenador que lo intente varias veces es simplemente que recupera respuestas que de otro modo se perderían debido a límites técnicos. Los investigadores también destacaron una lección crítica para estudios futuros: cómo se cuentan los resultados importa inmensamente. En su análisis inicial, descubrieron que si contaban las conexiones de red fallidas o los tiempos de espera agotados como respuestas incorrectas, el método de votación parecía rendir peor en algunas tareas. Esto se debía a que el método de votación realizaba más intentos, por lo que tenía más oportunidades de sufrir un fallo técnico. Al comparar estrictamente los métodos únicamente en las preguntas que todos ellos respondieron con éxito, los investigadores revelaron el verdadero rendimiento. Su trabajo demuestra que, para los modelos más capaces disponibles hoy en día, la estrategia más sencilla de intentar varias veces y elegir el consenso es la forma más fiable de obtener mejores respuestas, y que las ganancias provienen en gran medida de asegurar que el ordenador termine su pensamiento en lugar de encontrar un camino más ingenioso hacia la solución.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.