Resumen Técnico: Grafo de Pensamientos Reforzado (RGoT)

Enunciado del Problema

Los Modelos de Lenguaje Grande (LLM) han demostrado capacidades significativas en la resolución deliberada de problemas mediante paradigmas de prompting como la Cadena de Pensamiento (CoT), el Árbol de Pensamientos (ToT) y el Grafo de Pensamientos (GoT). Aunque GoT ofrece un marco generalizado donde los pensamientos se estructuran como grafos arbitrarios para permitir la agregación y el razonamiento complejo, la implementación existente depende de un grafo de operaciones estático y definido manualmente.

Esta definición manual presenta dos limitaciones principales:

1. Accesibilidad: Construir un grafo GoT requiere un conocimiento profundo de la solución del problema y del orden específico de las operaciones, lo que crea una barrera de entrada alta para los usuarios.
2. Adaptabilidad: Los grafos estáticos son rígidos. No pueden adaptarse a la complejidad variable de las instancias de entrada ni a la naturaleza no determinista y entrópica de las salidas de los LLM. En consecuencia, un grafo diseñado para un nivel de complejidad específico puede fallar al aplicarse a entradas con propiedades diferentes.

Aunque trabajos anteriores (Ha et al., 2024) han intentado automatizar GoT, dependen de las capacidades lógicas del LLM subyacente para construir el grafo. Este artículo aborda la necesidad de un enfoque que no dependa de las capacidades de planificación del LLM para generar la topología del razonamiento en sí misma.

Metodología

Los autores proponen el Grafo de Pensamientos Reforzado (RGoT), un enfoque automatizado que utiliza Aprendizaje por Refuerzo (RL) para generar adaptativamente un grafo de operaciones a partir de un conjunto definido por humanos de operaciones disponibles.

Componentes Principales del Marco

El sistema desacopla el Grafo de Operaciones (GoO) del Grafo de Pensamientos (GoT):

• Grafo de Operaciones (GoO): Un grafo acíclico dirigido (DAG) que define la secuencia y la estructura de las operaciones. Está restringido por una profundidad máxima ($d_{max}$) y una amplitud máxima ($b_{max}$). Para garantizar la convergencia, se impone una profundidad de corte de divergencia ($d_{\neg div}$), después de la cual el grafo debe converger hacia un único sumidero.
• Grafo de Pensamientos (GoT): La traza de ejecución real donde se generan los pensamientos del LLM. Cada pensamiento hace referencia a la operación que lo creó.
• Operaciones: Definidas como Operaciones de Prompt (llamadas al LLM) o Operaciones de Ejecución (funciones programáticas). Una Operación de Puntuación evalúa la calidad de un pensamiento, devolviendo una puntuación numérica.

Formulación de Aprendizaje por Refuerzo

El agente RGoT opera dentro de un entorno de RL personalizado para construir la capa GoO capa por capa.

• Espacio de Estados ($S$): Una composición de espacios discretos que incluye la profundidad actual del grafo, la amplitud, la complejidad de la tarea, la complejidad local, la secuencia de operaciones en el grafo actual, las acciones anteriores y la puntuación anterior.
• Espacio de Acciones ($A$): Acciones discretas que incluyen stop (finalizar la construcción del grafo), backtrack (eliminar la capa de sumidero) y append(o) (añadir una nueva capa con la operación $o$).
• Función de Recompensa: Diseñada mediante conformación de recompensas para penalizar la profundidad excesiva, recompensar las operaciones válidas y proporcionar una recompensa positiva significativa por resolver con éxito la tarea (estado final).
• Simulación: Para mitigar el alto costo de entrenar con llamadas reales al LLM, se simula el comportamiento del LLM. La probabilidad de éxito de una operación en una complejidad dada $c$ se modela como un experimento de Bernoulli con probabilidad $P(c)$, estimada empíricamente mediante el prompting del LLM objetivo (por ejemplo, gpt-3.5-turbo-0125) 100 veces por nivel de complejidad.

Configuración Experimental

Los autores evaluaron RGoT en cinco tareas:

1. Sumar Lista: Sumar una lista de enteros (ejemplo principal).
2. Ordenar Lista: Ordenar enteros.
3. Intersección de Conjuntos: Encontrar intersecciones de conjuntos.
4. Contar Palabras Clave: Contar ocurrencias de palabras clave en texto.
5. Fusionar Documentos: Fusionar documentos maximizando la retención y minimizando la redundancia.

Los experimentos utilizaron el algoritmo de Optimización de Política Proximal (PPO) con una arquitectura de red de 2 capas (64 unidades). Los agentes fueron entrenados en un rango específico de complejidades y luego evaluados tanto en instancias dentro de la distribución como fuera de la distribución (complejidad más alta).

Resultados Clave

• Construcción Adaptativa: Los agentes de RL aprendieron con éxito a construir grafos de operaciones que se adaptan a la complejidad de la tarea. A medida que aumentaba la complejidad, los agentes aumentaron automáticamente la ramificación (divergencia) y la profundidad del grafo para descomponer el problema, un comportamiento no programado explícitamente sino aprendido a través de la señal de recompensa.
• Rendimiento frente a la Línea Base: Los agentes RGoT superaron significativamente a la línea base de prompting estándar Entrada-Salida (IO). Mientras que las estrategias IO fallaban a medida que la complejidad aumentaba más allá de la capacidad directa del LLM, los agentes RGoT mantuvieron altas tasas de éxito al descomponer las tareas.
• Generalización: Los agentes demostraron la capacidad de resolver complejidades fuera de la distribución (complejidades más altas que las vistas durante el entrenamiento), logrando una tasa promedio total resuelta de $0.7512 \pm 0.1089$.
• Varianza: Los autores observaron varianza en el rendimiento de los agentes a través de diferentes semillas aleatorias, particularmente en regiones fuera de la distribución. Esto se atribuye a la señal de recompensa dispersa en altas complejidades y a la naturaleza en política de PPO, que limita la capacidad del agente para recuperarse de compromisos tempranos en trayectorias subóptimas.

Significado y Afirmaciones

El artículo afirma ser el primer trabajo que presenta un enfoque automatizado para construir un grafo de pensamientos generando y recorriendo un grafo de operaciones sin depender de la capacidad del modelo de lenguaje para planificar o comprender las propiedades de la tarea.

Las contribuciones clave incluyen:

1. Automatización de GoT: Eliminar la necesidad de definición manual de grafos, haciendo así el paradigma GoT más accesible para usuarios que solo necesitan definir el conjunto de operaciones disponibles.
2. Adaptabilidad: Demostrar que un agente automatizado puede ajustar dinámicamente la topología del razonamiento basada en la complejidad de entrada, superando la rigidez de los grafos estáticos.
3. Agnosticismo del Modelo: El marco es agnóstico al LLM específico utilizado. Al simular las probabilidades de éxito del LLM, el sistema puede entrenarse de manera rentable y aplicarse a varios modelos, incluidos aquellos con diferentes rangos de capacidad.
4. Complementariedad: Los autores señalan que RGoT (estructurar la topología del razonamiento) es complementario al Grafo de Conocimiento de Pensamientos (KGoT), que estructura el conocimiento recuperado externamente, sugiriendo un potencial para aplicaciones futuras combinadas.

Los autores mantienen un tono modesto, reconociendo que, aunque el enfoque muestra promesa bajo restricciones específicas y para tareas definidas, la varianza en el rendimiento y la dependencia de la simulación para el entrenamiento siguen siendo áreas a considerar. No afirman una superioridad universal sobre todos los métodos de prompting, sino que destacan la utilidad específica de la construcción de grafos automatizada y adaptativa para tareas complejas y descomponibles.