Resumo Técnico: Personalizando Agentes de Grandes Modelos de Linguagem com Pequenos Modelos de Política

Formulação do Problema

O artigo aborda o desafio de personalizar agentes de Grandes Modelos de Linguagem (LLMs) para usuários individuais sem modificar o modelo hospedeiro subjacente. Embora os agentes de LLM possam recuperar memória, invocar ferramentas e ajustar estilos de resposta, adaptar essas decisões de execução às preferências específicas do usuário permanece difícil. As abordagens existentes enfrentam limitações significativas:

• Ajuste Fino (Fine-tuning): Adaptar os parâmetros do modelo por usuário é computacionalmente custoso e muitas vezes impossível para sistemas proprietários de caixa-preta.
• Prompts e Memória: Esses métodos expõem informações do usuário ao agente, mas não adaptam a política de execução do agente (ex: quando fazer perguntas, quando usar ferramentas) com base no feedback.
• Adaptação de Mecanismo Único: Métodos recentes que adaptam apenas um componente (ex: recuperação de memória ou seleção de ferramenta) falham em atribuir um sinal de feedback escalar único (a reação do usuário a toda a interação) através do espaço conjunto de decisões de execução.

A dificuldade central é o feedback esparso: o sistema observa um resultado escalar apenas para a combinação específica de decisões de execução escolhidas, enquanto o desempenho de combinações alternativas permanece não observado. Além disso, o sistema deve respeitar restrições rígidas (ex: permissões, regras de segurança) e tratar as informações de integração (onboarding) como evidência prévia revisável, em vez de regras fixas.

Os autores formulam isso como um problema de aprendizado online para uma política de execução por usuário sobre um espaço de ação fatorado, restringido por conjuntos de viabilidade externos, utilizando apenas o feedback escalar observado para a ação selecionada.

Metodologia: FABLE

Os autores propõem o FABLE (Factorized Adaptive Bandit Layer for Execution), uma camada de política leve que opera fora de um agente hospedeiro potencialmente de caixa-preta. O FABLE não requer acesso aos pesos, gradientes ou estados ocultos do hospedeiro.

Componentes Principais

1. Espaço de Ação Fatorado: Uma decisão de execução $a$ é definida como uma tupla $(m, \tau, s)$ representando o modo de memória, o modo de aquisição de informação e o comportamento de resposta. Em vez de aprender uma política sobre o espaço conjunto completo (que é combinatorialmente grande), o FABLE utiliza um mapa de características fatorado $\phi(c, a)$. Este mapa inclui efeitos principais para cada componente e interações de pares, permitindo que o feedback de uma ação conjunta atualize as preferências de componentes relacionados (ex: uma aversão a esclarecimentos desnecessários atualiza a preferência de "pedir esclarecimento", independentemente da configuração de memória).

2. Modelo de Preferência Residual: O feedback esperado é modelado como:
   $$E[y_t | c, a] = \bar{b}(c, a) + \phi(c, a)^\top \theta^*$$
   onde $\bar{b}(c, a)$ é uma pontuação padrão pré-especificada menos um custo operacional, e $\theta^*$ representa a preferência residual específica do usuário. Esta abordagem permite que o sistema retenha o comportamento genérico útil do hospedeiro enquanto aprende apenas o desvio do usuário em relação a ele.

3. Integração (Onboarding) Revisável: As preferências do usuário fornecidas durante a integração são tratadas como observações de precisão finita. Elas inicializam a posterior Gaussiana sobre $\theta$, mas não fixam a política. À medida que o feedback online chega, a posterior é atualizada, permitindo que o sistema revise as suposições iniciais.

4. Thompson Sampling Restrito à Viabilidade:

   • Filtragem: Antes da seleção, um filtro externo remove ações inadmissíveis com base em restrições rígidas (permissões, disponibilidade de ferramentas).
   • Amostragem: O FABLE amostra um parâmetro residual $\tilde{\theta}_t$ da atual posterior Gaussiana (escalonada por um fator calibrado $\nu_t$) e seleciona a ação $a_t$ que maximiza a pontuação esperada dentro do conjunto viável $A_t$.
   • Atualização: Após a execução, o feedback residual é usado para atualizar a posterior Gaussiana via atualizações conjugadas.

5. Regra de Promoção: As preferências aprendidas podem ser escritas de volta para o hospedeiro como regras persistentes apenas se uma sequência de confiança válida a qualquer momento exclua o zero, garantindo que apenas preferências estatisticamente significativas sejam promovidas.

Resultados Teóricos

O artigo estabelece uma garantia de regret de oráculo viável para o FABLE sob um modelo de feedback residual linear.

• Limite de Regret: Com uma escala de amostragem Gaussiana teoricamente calibrada $\nu_t = \sqrt{9d \log(t/\delta)}$, o FABLE alcança um regret de alta probabilidade de $\tilde{O}(d^{3/2}\sqrt{n})$ contra a melhor ação viável em cada rodada.
• Identificabilidade: Os autores caracterizam quais direções de preferência permanecem identificáveis quando as restrições de viabilidade excluem persistentemente certas ações, observando que as preferências que exigem comparações de componentes excluídos não podem ser aprendidas apenas de dados online.

Avaliação Experimental

O FABLE foi avaliado em um protocolo de quatro domínios tau2-bench (Conhecimento de Companhia Aérea, Varejo, Telecomunicações e Bancário) envolvendo tarefas de uso de ferramentas executáveis.

Principais Descobertas

• Recompensa Personalizada e Alinhamento: A política FABLE completa alcançou a maior recompensa personalizada observada e o maior alinhamento de verbosidade sintética entre todas as políticas testadas. Comparado ao baseline do hospedeiro, mostrou ganhos significativos em recompensa personalizada (+0,077) e alinhamento (+0,281) com intervalos de confiança de 95% positivos.
• Sucesso da Tarefa: O FABLE empatou com o hospedeiro congelado na maior média de sucesso de tarefa. No entanto, a melhoria sobre o hospedeiro não foi estatisticamente significativa (IC de 95% incluiu zero). O artigo nota que o sucesso da tarefa variou por domínio (menor em Airline, empate em Retail, maior em Telecom e Banking).
• Estudos de Ablação:
  • Fatoração: Comparando o FABLE ao LinTS de espaço de ação completo e plano, a fatoração melhorou significativamente o alinhamento, apoiando a transferência de informação entre os componentes de ação.
  • Integração (Onboarding): Remover a integração resultou na maior queda de desempenho, confirmando o valor de inicializar as coordenadas residuais com evidência prévia.
  • Adaptação Online: Comparar o FABLE completo com uma versão "congelada" (sem atualizações online) mostrou que a adaptação online melhorou o alinhamento, embora o sucesso da tarefa tenha permanecido comparável.
• Benchmarks Adicionais: Experimentos no PAHF (Manipulação Incorporada e Compras Online) e Math500 (raciocínio personalizado) mostraram resultados mistos. Na Manipulação Incorporada, o FABLE (completo) alcançou menor recompensa (0,6214 vs. 0,6470) mas maior sucesso (0,078 vs. 0,052) do que o FABLE (sem integração), indicando que o benefício relativo dos componentes varia por ambiente. Em Compras Online, o FABLE (completo) superou o FABLE (sem integração) tanto em recompensa quanto em sucesso. No Math500, o FABLE (completo) e o FABLE (sem integração) empataram com a maior precisão, embora o FABLE (completo) tenha tido um alinhamento menor que o baseline de "Preferência Conhecida".

Significância e Alegações

O artigo afirma que o FABLE fornece um framework principista para personalizar agentes de caixa-preta congelados, tratando o controle de execução como um problema de bandit contextual restrito. Sua significância reside em:

1. Desacoplamento da Personalização do Ajuste do Modelo: Permite a adaptação por usuário sem realizar o ajuste fino do LLM hospedeiro, tornando-o aplicável a sistemas proprietários.
2. Tratamento de Feedback Conjunto Esparso: Ao fatorar o espaço de ação e modelar preferências residuais, aprende eficientemente a partir de feedback escalar esparso que avalia toda a interação.
3. Segurança e Restrições: Impõe rigorosamente restrições de viabilidade externas antes da exploração, garantindo que a segurança e a conformidade nunca sejam comprometidas pelo processo de aprendizado.
4. Alegações Modestas: Os autores afirmam explicitamente que, embora o FABLE melhore métricas sensíveis a preferências (recompensa e alinhamento) em contextos específicos, os experimentos não estabelecem uma melhoria estatisticamente significativa no sucesso geral de tarefas ou ganhos uniformes em nível de domínio. Os resultados apoiam a adaptação controlada de verbosidade sintética e integração executável, mas não alegam superioridade universal sobre todas as métricas ou benchmarks; notavelmente, as classificações de desempenho no PAHF variaram significativamente entre ambientes e condições de ablação.

O trabalho demonstra que uma pequena camada de política externa pode aprender e adaptar-se efetivamente às preferências do usuário, preenchendo a lacuna entre as capacidades estáticas dos agentes e as necessidades dinâmicas dos usuários.