Resumo Técnico: CARL (Aprendizado por Reforço Consciente da Competência)

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) equipados com ferramentas (por exemplo, motores de busca, calculadoras) frequentemente falham em distinguir entre tarefas que exigem assistência externa e aquelas solucionáveis via conhecimento paramétrico. Humanos reconhecem naturalmente os limites de seu próprio conhecimento (por exemplo, saber que $2+2$ não requer uma calculadora, enquanto $347 \times 28$ requer), mas os LLMs tipicamente não o fazem.

Abordagens existentes enfrentam duas limitações primárias:

• Métodos baseados em prompt (por exemplo, ReAct, RAG): Estes instruem os modelos a usar ferramentas no momento da inferência, mas não treinam o modelo para reconhecer quando as ferramentas são necessárias. Consequentemente, os modelos frequentemente invocam ferramentas desnecessariamente, aumentando a latência e o custo sem melhorar a precisão.
• Aprendizado por Reforço (RL) ao nível de trajetória: Métodos de RL atuais (por exemplo, Search-R1) atribuem uma única recompensa de resultado (por exemplo, Correspondência Exata) a toda a trajetória. Isso cria um problema de atribuição de crédito:
  • Reforço Indiscriminado: Em uma trajetória bem-sucedida, tanto chamadas de ferramentas úteis quanto chamadas desnecessárias ou errôneas recebem reforço positivo.
  • Falta de Seletividade: O modelo não consegue aprender a pular ferramentas em perguntas fáceis porque o sinal final de sucesso é compartilhado em todos os segmentos.
  • Dependência Externa: Métodos de crédito ao nível de etapa frequentemente dependem de juízes externos (por exemplo, GPT-4) cujo conhecimento pode divergir do do modelo estudante, ou exigem anotações caras ao nível de etapa.

2. Metodologia: CARL

Os autores propõem o CARL (Aprendizado por Reforço Consciente da Competência), um framework que treina um crítico para aprender o próprio limite de competência do modelo, permitindo atribuição de crédito granular sem juízes externos.

2.1 Decomposição Estrutural

O CARL aproveita o fato de que trajetórias de uso de ferramentas possuem limites estruturalmente observáveis que trajetórias de raciocínio puro não possuem. Uma trajetória é decomposta em segmentos baseados nesses limites:

1. Invocar: O modelo gera raciocínio e um bloco de código (por exemplo, search(query)). O ambiente executa o código, produzindo saída bruta (stdout).
2. Assimilar: O modelo lê a saída bruta e gera um bloco <context>, destilando informações relevantes. A saída bruta é substituída por essa extração no contexto.
3. Comprometer: O modelo gera a resposta final.

Essa decomposição cria um Processo de Decisão de Markov Semi-Markoviano (SMDP) onde cada segmento é uma "opção".

2.2 Vantagem ao Nível de Segmento

Em vez de atribuir uma única recompensa escalar a toda a trajetória, o CARL deriva vantagens por segmento a partir de uma única recompensa terminal binária ($R \in \{0, 1\}$) usando a equação de Bellman do SMDP.

Para uma trajetória com segmentos $k=0 \dots N$, a vantagem para o segmento $k$ é:

• Segmentos Intermediários: $A(seg_k) = V_\phi(s_{k+1}) - V_\phi(s_k)$
• Segmento Final: $A(seg_N) = R - V_\phi(s_N)$

Aqui, $V_\phi(s)$ é a função de valor (crítico) estimando a probabilidade de sucesso dado o contexto atual.

• Mecanismo: Uma "boa" busca aumenta a probabilidade estimada de sucesso ($V$ sobe), gerando uma vantagem positiva. Uma "má" busca ou uma extração falha diminui $V$, gerando uma vantagem negativa. Uma busca desnecessária em uma pergunta que o modelo já conhece deixa $V$ inalterada, gerando uma vantagem próxima de zero.
• Distinção Chave: Isso permite sinais opostos dentro da mesma trajetória (por exemplo, uma vantagem positiva para uma consulta correta seguida por uma vantagem negativa para uma extração ruim), uma capacidade ausente em métodos ao nível de trajetória.

2.3 Treinamento do Crítico e Aquecimento

O crítico $V_\phi$ é um MLP de duas camadas anexado ao backbone compartilhado do LLM.

• Alvo de Treinamento: O crítico é treinado via alvos de Monte Carlo (MC) para minimizar o Erro Quadrático Médio (MSE) entre $V_\phi(s)$ e a recompensa terminal $R$.
• Fase de Aquecimento: Para evitar que gradientes aleatórios iniciais corrompam a política, uma fase de aquecimento curado é essencial. O crítico é treinado em rollouts do modelo base rotulados pela correção final. As perguntas são classificadas em:
  • Nível 1: Além da competência paramétrica (o modelo falha sem ferramentas).
  • Nível 2: Dentro da competência paramétrica (o modelo tem sucesso sem ferramentas).
  • Trajetórias são geradas sob condições de "ferramenta forçada" e "sem ferramenta" para ensinar o crítico a distinguir entre uso de ferramenta necessário e desnecessário.
• Sem Juízes Externos: O crítico aprende exclusivamente a partir dos próprios rollouts do modelo e resultados binários, garantindo que o limite de competência reflita as capacidades específicas do modelo.

2.4 Otimização da Política

A política é atualizada usando PPO (Otimização de Política Proximal) ao nível de segmento. Cada segmento recebe seu próprio escalar de vantagem, aplicado uniformemente a todos os tokens dentro desse segmento. A perda total combina o objetivo do PPO e a perda MSE do crítico.

3. Contribuições Principais

1. Função de Valor Consciente da Competência: Uma função de valor treinada em resultados binários que aprende a separar perguntas solucionáveis parametricamente daquelas dependentes de ferramentas. Na escala de 7B, ela alcança uma AUC de 0,93 na distinção desses níveis.
2. Crédito por Segmento a partir de Único Resultado: Ao utilizar a equação de Bellman do SMDP em limites estruturalmente observáveis, o CARL deriva vantagens independentes para cada segmento (invocar, assimilar, comprometer) a partir de uma única recompensa binária. Isso permite que o modelo receba crédito positivo para chamadas úteis e crédito negativo para erros ou chamadas desnecessárias dentro da mesma trajetória bem-sucedida.
3. Seletividade Emergente: O método permite que os modelos aprendam quando pedir ajuda, reduzindo chamadas de ferramentas desnecessárias sem instrução explícita ou supervisão externa.

4. Resultados Experimentais

Os autores avaliaram o CARL em cinco benchmarks (GSM8K, HotpotQA, 2WikiMQA, FinQA, Musique) usando modelos Qwen2.5 nas escalas de 3B e 7B, comparando com fortes baselines de RL (Search-R1 PPO e GRPO).

• Ganhos de Precisão: O CARL supera a melhor baseline de RL (Search-R1 PPO) em 6,7 pontos de Correspondência Exata (EM) em 7B e 9,7 EM em 3B em média em conjuntos de dados baseados em busca.
  • Os maiores ganhos ocorrem no Musique, um benchmark composicional multi-hop, com melhorias de +8,3 EM (7B) e +9,0 EM (3B).
  • Os ganhos são desproporcionalmente maiores para modelos menores (a melhoria de 3B é 1,4× a melhoria de 7B), sugerindo que saber quando pedir ajuda é crítico para modelos com memória paramétrica limitada.
• Eficiência de Uso de Ferramentas:
  • Em perguntas respondíveis a partir de conhecimento paramétrico (Nível 2), o CARL emite 53% menos chamadas de ferramentas que o Search-R1 PPO.
  • Apesar de chamar ferramentas com menos frequência, o CARL permanece ~10 pontos de EM mais preciso nessas mesmas perguntas.
  • A geração total de tokens é reduzida em 23% em média em 7B, impulsionada pela pular a recuperação em perguntas fáceis.
• Calibração do Crítico: O crítico treinado estima com precisão a probabilidade de sucesso ($V(s_0)$).
  • AUC 0,93 (7B) e 0,85 (3B) para separar perguntas do Nível 1 vs. Nível 2.
  • Calibração: Com aquecimento curado, o Erro de Calibração Esperado (ECE) é 0,043, significando que a probabilidade de sucesso prevista corresponde estreitamente às taxas reais de sucesso.
• Divergência de Sinal: O crítico atribui corretamente sinais opostos a segmentos dentro de uma única trajetória (por exemplo, $+0,15$ para uma boa busca, $-0,22$ para uma extração ruim), um comportamento impossível para métodos ao nível de trajetória.

5. Significado e Alegações

O artigo afirma que o CARL aborda a limitação fundamental do RL ao nível de trajetória: a incapacidade de isolar qual chamada de ferramenta específica contribuiu para o sucesso ou falha. Ao explorar os limites estruturalmente observáveis das trajetórias de uso de ferramentas, o CARL transforma um único resultado binário em uma sequência de vantagens significativas ao nível de segmento.

Os autores enfatizam que essa abordagem permite que o modelo aprenda seu próprio limite de competência em vez de ser instruído sobre quando usar ferramentas. Isso resulta em:

• Redução de Alucinação: O modelo é menos propenso a fabricar respostas em perguntas difíceis (Nível 1) porque aprende a roteá-las para ferramentas em vez de chutar.
• Eficiência: Chamadas de ferramentas desnecessárias são suprimidas, reduzindo latência e custos de API.
• Escalabilidade: Os benefícios são mais pronunciados para modelos menores, sugerindo que a atribuição de crédito ao nível de segmento é uma alternativa prática ao escalonamento da memória paramétrica para lidar com conhecimento de cauda de distribuição.

O artigo conclui que, embora a qualidade da recuperação permaneça um teto para o desempenho (como mostrado em estudos de ablação onde APIs de busca melhores melhoraram ainda mais os resultados), o mecanismo de atribuição de crédito do CARL é o principal motor para a melhoria na seletividade e precisão em LLMs aumentados por ferramentas.