Resumo Técnico: Grafo de Pensamentos Reforçado (RGoT)

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) demonstraram capacidades significativas na resolução deliberada de problemas por meio de paradigmas de prompt como Cadeia de Pensamento (CoT), Árvore de Pensamentos (ToT) e Grafo de Pensamentos (GoT). Embora o GoT ofereça um framework generalizado onde os pensamentos são estruturados como grafos arbitrários para permitir agregação e raciocínio complexo, a implementação existente depende de um grafo de operações estático e definido manualmente.

Essa definição manual apresenta duas limitações primárias:

1. Acessibilidade: A construção de um grafo GoT exige conhecimento profundo da solução do problema e da ordenação específica das operações, criando uma barreira de entrada elevada para os usuários.
2. Adaptabilidade: Grafos estáticos são rígidos. Eles não conseguem adaptar-se à complexidade variável das instâncias de entrada ou à natureza não determinística e entrópica das saídas dos LLMs. Consequentemente, um grafo projetado para um nível específico de complexidade pode falhar quando aplicado a entradas com propriedades diferentes.

Embora trabalhos anteriores (Ha et al., 2024) tenham tentado automatizar o GoT, eles dependem das capacidades lógicas do LLM subjacente para construir o grafo. Este artigo aborda a necessidade de uma abordagem que não dependa das capacidades de planejamento do LLM para gerar a própria topologia de raciocínio.

Metodologia

Os autores propõem o Grafo de Pensamentos Reforçado (RGoT), uma abordagem automatizada que utiliza Aprendizado por Reforço (RL) para gerar adaptativamente um grafo de operações a partir de um conjunto definido por humanos de operações disponíveis.

Componentes Principais do Framework

O sistema desacopla o Grafo de Operações (GoO) do Grafo de Pensamentos (GoT):

• Grafo de Operações (GoO): Um grafo acíclico direcionado (DAG) que define a sequência e a estrutura das operações. É restrito por profundidade máxima ($d_{max}$) e largura máxima ($b_{max}$). Para garantir convergência, uma profundidade de corte de divergência ($d_{\neg div}$) é imposta, após a qual o grafo deve convergir para um único sumidouro.
• Grafo de Pensamentos (GoT): O rastro de execução real onde os pensamentos do LLM são gerados. Cada pensamento referencia a operação que o criou.
• Operações: Definidas como Operações de Prompt (chamadas ao LLM) ou Operações de Execução (funções programáticas). Uma Operação de Pontuação avalia a qualidade de um pensamento, retornando uma pontuação numérica.

Formulação de Aprendizado por Reforço

O agente RGoT opera dentro de um ambiente de RL personalizado para construir a camada GoO camada por camada.

• Espaço de Estados ($S$): Uma composição de espaços discretos incluindo profundidade atual do grafo, largura, complexidade da tarefa, complexidade local, a sequência de operações no grafo atual, ações anteriores e a pontuação anterior.
• Espaço de Ações ($A$): Ações discretas incluindo stop (encerrar a construção do grafo), backtrack (remover a camada de sumidouro) e append(o) (adicionar uma nova camada com a operação $o$).
• Função de Recompensa: Projetada via moldagem de recompensa para penalizar profundidade excessiva, recompensar operações válidas e fornecer uma recompensa positiva significativa para a resolução bem-sucedida da tarefa (estado final).
• Simulação: Para mitigar o alto custo do treinamento com chamadas reais ao LLM, o comportamento do LLM é simulado. A probabilidade de sucesso de uma operação dada uma complexidade $c$ é modelada como um experimento de Bernoulli com probabilidade $P(c)$, estimada empiricamente ao solicitar o LLM alvo (por exemplo, gpt-3.5-turbo-0125) 100 vezes por nível de complexidade.

Configuração Experimental

Os autores avaliaram o RGoT em cinco tarefas:

1. Somar Lista: Soma de uma lista de inteiros (exemplo primário).
2. Ordenar Lista: Ordenação de inteiros.
3. Interseção de Conjuntos: Encontrar interseções de conjuntos.
4. Contar Palavras-chave: Contar ocorrências de palavras-chave em texto.
5. Mesclar Documentos: Mesclar documentos maximizando a retenção e minimizando a redundância.

Os experimentos utilizaram o algoritmo Proximal Policy Optimization (PPO) com uma arquitetura de rede de 2 camadas (64 unidades). Os agentes foram treinados em uma faixa específica de complexidades e depois avaliados em instâncias tanto dentro da distribuição quanto fora da distribuição (complexidade mais alta).

Resultados Principais

• Construção Adaptativa: Os agentes de RL aprenderam com sucesso a construir grafos de operações que se adaptam à complexidade da tarefa. À medida que a complexidade aumentava, os agentes aumentavam automaticamente o ramificação (divergência) e a profundidade do grafo para decompor o problema, um comportamento não programado explicitamente, mas aprendido através do sinal de recompensa.
• Desempenho vs. Linha de Base: Os agentes RGoT superaram significativamente a linha de base de prompt Entrada-Saída (IO) padrão. Enquanto estratégias IO falhavam à medida que a complexidade aumentava além da capacidade direta do LLM, os agentes RGoT mantiveram altas taxas de sucesso ao decompor tarefas.
• Generalização: Os agentes demonstraram a capacidade de resolver complexidades fora da distribuição (complexidades mais altas do que as vistas durante o treinamento), alcançando uma taxa média total resolvida de $0.7512 \pm 0.1089$.
• Variância: Os autores observaram variância no desempenho dos agentes entre diferentes sementes aleatórias, particularmente em regiões fora da distribuição. Isso é atribuído ao sinal de recompensa esparsa em altas complexidades e à natureza on-policy do PPO, que limita a capacidade do agente de se recuperar de compromissos iniciais de trajetória subótimos.

Significado e Alegações

O artigo afirma ser o primeiro trabalho a apresentar uma abordagem automatizada para construir um grafo de pensamentos gerando e percorrendo um grafo de operações sem depender da capacidade do modelo de linguagem de planejar ou entender as propriedades da tarefa.

As contribuições principais incluem:

1. Automação do GoT: Remover a necessidade de definição manual de grafos, tornando assim o paradigma GoT mais acessível a usuários que apenas precisam definir o conjunto de operações disponíveis.
2. Adaptabilidade: Demonstrar que um agente automatizado pode ajustar dinamicamente a topologia de raciocínio com base na complexidade de entrada, superando a rigidez dos grafos estáticos.
3. Agnosticismo de Modelo: O framework é agnóstico ao LLM específico utilizado. Ao simular as probabilidades de sucesso do LLM, o sistema pode ser treinado de forma custo-efetiva e aplicado a vários modelos, incluindo aqueles com diferentes faixas de capacidade.
4. Complementaridade: Os autores observam que o RGoT (estruturando a topologia de raciocínio) é complementar ao Grafo de Conhecimento de Pensamentos (KGoT), que estrutura conhecimento recuperado externamente, sugerindo potencial para aplicações futuras combinadas.

Os autores mantêm um tom modesto, reconhecendo que, embora a abordagem mostre promessa sob restrições específicas e para tarefas definidas, a variância no desempenho e a dependência de simulação para treinamento permanecem áreas a serem consideradas. Eles não afirmam superioridade universal sobre todos os métodos de prompt, mas destacam a utilidade específica da construção de grafos automatizada e adaptativa para tarefas complexas e decomponíveis.