Resumo Técnico: TRUST – Aprendizado por Reforço Alinhado à Incerteza para Chamada de Ferramentas Agêntica

Declaração do Problema

Agentes baseados em Grandes Modelos de Linguagem (LLMs) frequentemente exibem decisões de uso de ferramentas subótimas, caracterizadas por dois modos primários de falha: invocar ferramentas quando elas não são suportadas ou são desnecessárias, e fabricar respostas diretas sem emitir as chamadas de ferramenta exigidas (alucinação de respostas diretas). Diferente das alucinações textuais padrão, essas falhas de decisão corrompem estados intermediários e propagam erros através de interações de múltiplos passos, levando a falhas de execução, custos financeiros e vazamento de informações em tarefas agênticas do mundo real.

Abordagens existentes para mitigar esses problemas dependem primariamente de correções em tempo de inferência ou sinais de recompensa de grão grosso baseados em resultados de decisão e checklists estruturados. No entanto, esses métodos deixam as características de incerteza das decisões do agente subexploradas. Os autores observam que o Aprendizado por Reforço (RL) orientado a decisões padrão tende a enfraquecer a separação de incerteza entre ações corretas e incorretas. Especificamente, a otimização por RL frequentemente aumenta a confiança em ações amostradas de alta recompensa enquanto, involuntariamente, colapsa o hiato de incerteza, fazendo com que o modelo se torne excessivamente confiante em decisões incorretas (ex: chamadas de ferramentas não suportadas). Esse fenômeno, denominado "Decisão Errada mas com Baixa Incerteza", prejudica a calibração do modelo e reduz os sinais de exploração necessários para atualizações de política em direção a alternativas mais confiáveis.

Metodologia: Framework TRUST

Para abordar essas limitações, os autores propõem o TRUST (Tool-calling decision Reward with Uncertainty-Separated post-Training), um framework que integra a Quantificação de Incerteza (UQ) diretamente no design da recompensa para atuar como uma força repulsiva, mantendo uma separação clara entre decisões corretas e incorretas.

1. Recompensa de Nível de Turno Alinhada à UQ

Em vez de usar a incerteza meramente como um diagnóstico post-hoc, o TRUST a incorpora na função de recompensa para alinhar a correção da decisão com a certeza do modelo.

• Métrica de Incerteza: O método instancia a incerteza utilizando a perplexidade de sequência (PPL).
• Margem de Certeza ($m(s)$): Para cada ponto de decisão, o sistema calcula a margem entre a perplexidade esperada das decisões negativas (incorretas) e a decisão de verdade fundamental (ground-truth).
• Coeficiente de Certeza ($c(s)$): Esta margem é convertida em um coeficiente de certeza limitado usando uma função sigmoide. Uma margem grande indica que o modelo atribui menor perplexidade à decisão correta do que às negativas.
• Função de Recompensa ($R_{UQ}$): A recompensa total combina validade de formato, consistência de resposta e correção de ação, ponderadas pelo coeficiente de certeza:
  $$R_{UQ}(z) = R_{fmt}(z) + R_{ans}(z, z^*) + c(s) \cdot R_{cls}(a, a^*)$$
  Aqui, $c(s) \cdot R_{cls}$ atua como uma força repulsiva. Ela empurra as decisões erradas para uma maior incerteza (maior PPL) e puxa as decisões corretas para uma menor incerteza, incentivando assim a política a explorar para longe de decisões incertas ou não confiáveis.

2. Pós-Treinamento Unificado para Trajetórias

Reconhecendo que as falhas de agentes frequentemente surgem dentro de trajetórias de múltiplos turnos onde erros precoces corrompem estados posteriores, o TRUST estende este paradigma de treinamento de decisões isoladas para trajetórias completas.

• Anotação Leve de Turnos-Chave: Em vez de rotular exaustivamente conversas inteiras, o framework aumenta as trajetórias com anotações leves para "turnos-chave" específicos onde as decisões de próxima ação são críticas. Um modelo de rotulagem seleciona até dois turnos decisivos por trajetória, atribuindo ações de verdade fundamental do espaço $\{DIRECT, TOOL, ASK, UNABLE\}$.
• Otimização de Recompensa Mista: O treinamento utiliza uma função de recompensa mista que combina a recompensa original de nível de trajetória baseada em checklist ($R_{CM2}$), que supervisiona a conclusão da tarefa e a qualidade da execução da ferramenta, com a $R_{UQ}$ de nível de turno aplicada esparsamente nos turnos-chave anotados. Isso permite a otimização conjunta do sucesso da tarefa global e da calibração de chamada de ferramenta por turno sem redesenhar recompensas existentes orientadas ao desempenho.

Contribuições Principais

1. Design de Recompensa com Separação de Incerteza: O artigo introduz um mecanismo de recompensa inovador que usa a UQ como uma força repulsiva dentro do objetivo de RL. Isso impede explicitamente o colapso da separação de incerteza entre ações corretas e incorretas, um modo de falha comum no RL orientado a decisões padrão.
2. Paradigma de Treinamento Unificado: O TRUST propõe um framework de pós-treinamento unificado que integra a calibração de decisão de nível de turno com a otimização de tarefa de nível de trajetória. Ao anotar apenas turnos-chave, ele alcança um treinamento eficiente que melhora tanto a qualidade imediata da decisão quanto o desempenho em horizontes longos.
3. Validação Empírica da Calibração de Incerteza: O trabalho demonstra que otimizar apenas pela correção da decisão pode degradar a calibração de incerteza, enquanto o TRUST consegue alinhar a incerteza interna com a correção da decisão, tornando as decisões errôneas mais fáceis de identificar e menos propensas a serem reforçadas.

Resultados Experimentais

Os autores avaliaram o TRUST em três benchmarks: When2Call (decisão de nível de turno), BFCL-V4 (chamada de função de múltiplos turnos) e ToolSandbox (uso interativo de ferramentas).

• Desempenho de Nível de Turno (When2Call): No backbone Qwen3-4B-Thinking, o TRUST melhorou a acurácia normalizada em 11,47% sobre o modelo base e superou o melhor baseline (GRPO sem TRUST) em 8,37%. Crucialmente, reduziu a Taxa de Resposta Direta Falsa (FDAR) para 5,07% e a métrica de alucinação geral significativamente comparado ao GRPO padrão.
• Desempenho de Nível de Trajetória (BFCL-V4 & ToolSandbox):
  • No BFCL-V4, o TRUST alcançou uma pontuação geral de 48,04% (no Qwen3-4B-Thinking), superando o modelo base em 9,43% e superando modelos maiores como o 30B-A3B-Instruct. Ganhos notáveis foram observados em cenários de Múltiplos Turnos (49,62%) e Irrelevância (84,84%).
  • No ToolSandbox, o TRUST alcançou uma pontuação de estado da arte de 68,28% (no Qwen3-8B-Base), superando o baseline de GRPO de nível de trajetória em 7,07% e aproximando-se do desempenho do modelo de 235 bilhões de parâmetros.
• Calibração de Incerteza: A análise das distribuições de perplexidade mostrou que, enquanto o RL padrão aumentou a sobreposição entre as distribuições de decisões corretas e erradas (IoU subindo de 34,50% para 70,21%), o TRUST manteve uma separação clara (IoU reduzido para 35,29%), garantindo que as decisões incorretas retivessem maior incerteza.
• Estudos de Ablação: Remover o componente de repulsão de incerteza ($c(s)$) resultou na degradação de desempenho mais significativa, confirmando seu papel crítico na supressão de chamadas de ferramentas não suportadas e respostas diretas alucinadas.

Significância e Alegações

O artigo afirma que o TRUST fornece uma solução robusta para o problema da "falha por excesso de confiança" em RL agêntico. Ao integrar a quantificação de incerteza diretamente na função de recompensa, o TRUST garante que a confiança interna do modelo esteja alinhada com a correção da decisão. Esse alinhamento não apenas melhora a precisão imediata da chamada de ferramenta, mas também aumenta a confiabilidade das interações de múltiplos turnos ao evitar a propagação de erros.

Os autores enfatizam que o TRUST alcança esses ganhos sem latência de inferência adicional ou sobrecarga computacional durante a implantação, pois a lógica de tomada de decisão é internalizada nos pesos do modelo. Além disso, o framework demonstra que o treinamento preciso de decisão por turno pode catalisar melhorias generalizadas em fluxos de trabalho de cadeia de ferramentas complexos e de longa dependência. O trabalho conclui que, embora existam limitações atuais em relação à dependência de UQ baseada em perplexidade e espaços de ação predefinidos, a abordagem proposta oferece um passo significativo em direção a sistemas agênticos mais confiáveis e autoconscientes.