Learning Selective LLM Autonomy from Copilot Feedback in Enterprise Customer Support Workflows

1. Declaração do Problema

A implementação de agentes de Modelos de Linguagem de Grande Porte (LLM) para automação ponta a ponta no suporte ao cliente empresarial enfrenta obstáculos significativos:

• Propagação de Erros: Pequenos erros em interações de UI de múltiplos passos se acumulam ao longo de horizontes longos, levando a falhas no fluxo de trabalho.
• Custo e Complexidade: Os loops de controle de múltiplos passos tradicionais são caros em escala, e mudanças frequentes na UI/processo tornam a Automação Robótica de Processos (RPA) frágil ou fluxos scriptados manualmente difíceis de manter.
• Segurança e Confiança: Agentes totalmente autônomos correm o risco de degradar a qualidade do suporte ou causar erros irreversíveis em processos comerciais sensíveis (por exemplo, alterações de conta).
• Escassez de Dados: Diferentemente de benchmarks de navegação na web, os fluxos de trabalho empresariais carecem de grandes conjuntos de dados públicos para treinamento, e a lógica de domínio é altamente especializada.

Os autores propõem um sistema que alcança automação seletiva: automatizando passos de alta confiança enquanto adia decisões incertas para operadores humanos, equilibrando assim eficiência com segurança.

2. Metodologia

O sistema emprega um pipeline de implantação em etapas inspirado em aprendizado por imitação (especificamente DAgger), progredindo através de três fases para treinar uma política e um crítico.

A. Representação e Serialização de Dados

• Visão Orientada a Esquema: Em vez de depender de DOM bruto ou capturas de tela (que são frágeis a mudanças na UI), o sistema extrai uma representação JSON orientada a esquema da interface de Gerenciamento de Processos de Negócio (BPM).
• Trajetórias Estado-Ação: As sessões dos operadores são registradas como trajetórias $\{s_t, a_t\}$. O estado $s_t$ inclui histórico de chat, contexto de UI (perfil do cliente, cenário ativo) e anúncios globais. As ações $a_t$ são categorizadas em quatro tipos: composição de mensagem, navegação, seleção/preenchimento de formulário e gerenciamento de sessão.
• Formato de Entrada: Capturas de tela de UI e ações são mescladas em uma intercalação cronológica de diálogo misturando mensagens do cliente, ações do operador e estados de UI atualizados para entrada do LLM.

B. Pipeline de Implantação em Etapas

1. Fase de Registro:
   • Coleta trajetórias completas de interação do operador.
   • Treina um Modelo de Política Inicial ($\pi_\theta$) via Ajuste Fino Supervisionado (SFT) em clonagem de comportamento (prevendo a próxima ação dado o estado).
2. Fase Copilot:
   • Implanta a política para sugerir ações aos operadores em tempo real.
   • Loop de Feedback: Os operadores aceitam a sugestão ou a corrigem.
   • Crítico vs. Não Crítico: Ações não críticas (por exemplo, navegação na UI) podem ser executadas automaticamente; ações críticas (por exemplo, envio de mensagens, fechamento de chats) exigem aprovação humana.
   • Esta fase gera dados rotulados (aceitar/rejeitar) especificamente para etapas críticas.
3. Fase de Automação Seletiva:
   • Treina um Modelo Crítico ($c_\phi$) usando o feedback do copilot para estimar a probabilidade de uma ação crítica proposta estar correta.
   • Execução com Portão: O sistema executa uma ação $\hat{a}$ apenas se a pontuação do crítico $c_\phi(s, \hat{a}) \geq \tau$ (onde $\tau$ é um limiar calibrado).
   • Abstenção: Se a pontuação estiver abaixo de $\tau$, o controle é passado para o operador humano, que retoma a partir do estado de UI atualizado.
   • Calibração: O limiar $\tau$ é ajustado para atender aos requisitos de precisão do negócio (por exemplo, garantindo que 90% das ações automatizadas seriam aceitas por humanos).

C. Segurança e Adaptabilidade

• Tratamento de Fora de Distribuição (OOD): O sistema usa regras de validação diária para detectar novos elementos de UI. Se houver detecção de desvio, a automação é desativada para a fatia afetada, revertendo para o modo copilot para coletar nova supervisão.
• Anonimização: Os dados de treinamento passam por mascaramento rigoroso (substituição de entidades, distintividade ao nível de sessão) para proteger PII.
• Melhoria Contínua: Os modelos são retreinados em janelas rolantes de dados recentes, com pares de política-crítico específicos de fatia para diferentes clusters de problemas.

3. Contribuições Principais

1. Implantação em Etapas Escalável para Produção: Um pipeline inovador que transita de registro para copilot e depois para automação seletiva, aproveitando supervisão naturalmente ocorrente (aceitar/rejeitar) em vez de exigir autoria manual de regras.
2. Serialização de Estado Orientada a Esquema: Migração de agentes baseados em visuais/capturas de tela para uma representação JSON estruturada da interface BPM, permitindo monitoramento robusto e chamada de ferramentas confiável sem processamento de imagem.
3. Autonomia com Portão Crítico: Um mecanismo que combina uma política treinada por SFT com um crítico treinado em feedback de trajetória para gerenciar o compromisso entre erro e cobertura, permitindo a execução segura em segundo plano de passos de alta confiança.
4. Framework de Engenharia: Documentação abrangente de salvaguardas (abstenção, tratamento de desvio de dados, fallbacks) e um protocolo de avaliação online com estudos de ablação.

4. Resultados Experimentais

O sistema foi avaliado em um ambiente de produção ao vivo com aproximadamente 15.000 clientes por grupo de teste A/B.

Resultados Offline

• Necessidade de SFT: A solicitação zero-shot (mesmo com modelos grandes como GPT-5 ou Gemini 3) alcançou apenas ~47% de precisão de ferramenta. O SFT específico de domínio no modelo Qwen2.5-7B alcançou 79,15% de precisão de ferramenta, provando que o ajuste fino especializado é essencial para a lógica empresarial.
• Mistura de Dados: A mistura de logs históricos com correções de rejeição do copilot melhorou a generalização em casos difíceis.
• Desempenho do Crítico: Um crítico treinado por SFT superou uma linha de base baseada em confiança em +3,84% de Precisão e +3,03% de F1, validando que aprender com feedback humano explícito é superior à incerteza bruta do modelo.

Resultados Online (Testes A/B)

• Eficiência: Comparado a uma linha de base apenas humana, o sistema de automação seletiva reduziu o Tempo Médio do Agente (AAT) em 39% (de 227s para 139s).
• Qualidade: As pontuações de correção de resolução permaneceram estatisticamente inalteradas em comparação com a linha de base, confirmando nenhuma degradação na qualidade do suporte.
• Taxa de Automação: O sistema automatizou totalmente 45% das sessões ponta a ponta sem intervenção humana.
• Comparação com Bots Clássicos: Superou uma linha de base de chatbot baseado em regras reduzindo o AAT em 16%.
• Ganho Incremental: A transição de "confirmação obrigatória" para "execução habilitada por automação" reduziu ainda mais o AAT em 25%.

5. Significado e Conclusão

Este artigo demonstra um caminho prático e escalável para implantar agentes LLM em ambientes empresariais de alto risco.

• Mudança de Paradigma: Move-se da "autonomia total" (que é arriscada) e "RPA estática" (que é frágil) para autonomia incremental e seletiva.
• Humano no Loop: O sistema trata os operadores como "editores de IA", supervisionando múltiplas sessões concorrentes e intervindo apenas quando o sistema está incerto.
• Generalização: A abordagem é aplicável a qualquer fluxo de trabalho de interface estruturada onde logs de interação estejam disponíveis, oferecendo um modelo para automação segura e eficiente em indústrias regulamentadas.

O trabalho destaca que a segurança é alcançada não restringindo as capacidades do modelo, mas sim controlando sua execução através de um crítico aprendido e um processo de implantação em etapas que se adapta continuamente à lógica comercial em mudança.