Resumo Técnico: Construindo Agentes de IA para Suporte ao Cliente em Escala de 100 Milhões de Usuários

Declaração do Problema

O rápido avanço dos Grandes Modelos de Linguagem (LLMs) tornou os agentes de IA viáveis para tarefas complexas, mas implantar agentes voltados para o cliente prontos para produção em escala continua sendo um desafio significativo. No domínio do suporte ao cliente (CS), especificamente em ambientes de alto risco como o setor bancário, os agentes enfrentam restrições únicas:

• Limiares de Confiabilidade Elevados: Uma única falha pode erodir a confiança e gerar churn; imprevistos financeiros podem levar a perdas significativas.
• Sensibilidade de Dados: Os agentes devem lidar com dados reais de clientes (saldos, transações) sob rigorosas restrições de privacidade e regulatórias.
• Especialização vs. Diversidade: Os agentes utilizam conjuntos de ferramentas específicos e de domínio estreito (5 a 15 ferramentas), mas devem lidar com uma diversidade substancial de casos de borda.
• Transição Suave (Graceful Handoff): Os agentes devem operar dentro de um fluxo de trabalho com humano no circuito (human-in-the-loop), transferindo o controle com todo o contexto preservado quando a automação falha.

Uma lacuna crítica identificada é que a metodologia de avaliação, engenharia de contexto, treinamento e medição online são tipicamente desenvolvidos de forma isolada. Isso cria "pontos cegos" que só surgem após a implantação, retardando a velocidade de iteração e arriscando falhas em produção.

Metodologia: Um Framework Orientado por Avaliação

Os autores apresentam um framework unificado que conecta o desenvolvimento offline com o impacto online, validado em uma empresa que atende mais de 100 milhões de usuários. A filosofia central é que a qualidade do pipeline de avaliação determina diretamente a velocidade de iteração.

1. Engenharia de Contexto Modular

Em vez de prompts monolíticos, o sistema emprega uma arquitetura modular com versionamento semântico, onde os componentes são gerenciados independentemente:

• Instruções: Definições de papel, restrições comportamentais e salvaguardas de conformidade.
• Rotinas: Procedimentos ordenados e passo a passo derivados de Procedimentos Operacionais Padrão (SOPs) humanos (ex: fluxos de investigação de entrega de cartão).
• Macros: Templates de resposta pré-escritos adaptados pelo agente.
• Especificações de Ferramentas: Descrições independentes de ferramentas (esquema, entrada/saída, condições de invocação) permitindo a recombinação.
• Memória de Trabalho: Um bloco de notas persistente (scratchpad) que rastreia o estado da conversa para evitar chamadas redundantes.

2. Pipeline de Avaliação Rigoroso

O framework utiliza uma abordagem de LLM-como-Juiz (LLM-as-a-Judge), aprimorada por medidas específicas de confiabilidade:

• Iteração com Humano no Circuito (HITL): Especialistas de domínio anotam dados com rótulos binários e justificativas textuais.
• Otimização GEPA: O sistema utiliza GEPA (dentro do framework DSPy) para refinar automaticamente os prompts dos juízes. Um modelo forte critica erros e sintetiza revisões baseadas no feedback humano, otimizando a consistência.
• Confiabilidade Inter-Avaliador (IRR): O framework impõe limiares mínimos de concordância (medidos via $\kappa$ de Cohen) entre múltiplos modelos de juiz. Prompts só são confiáveis se produzirem pontuações estáveis em diferentes arquiteturas de modelos (ex: GPT-4.1, GPT-5, o3).
• Validação Cruzada de Modelos: Garante que rubricas bem especificadas produzam pontuações estáveis, independentemente do modelo de juiz específico utilizado.

3. Ciclo de Desenvolvimento

O processo opera em dois loops aninhados:

• Loop Rápido: Resultados de avaliação offline (simulações) impulsionam correções imediatas de prompts. Se um avaliador sinaliza uma falha, o componente específico do prompt é cirurgicamente modificado e reavaliado.
• Loop Lento: Métricas online (de testes A/B) informam mudanças arquiteturais, como a adição de novas rotinas ou o redesenho de interfaces de ferramentas.

4. Infraestrutura e Implantação

• Design de Ferramentas: As ferramentas são projetadas para serem idempotentes e possuírem orquestração determinística (envolvendo lógica de múltiplos passos em ferramentas únicas) para reduzir latência e erros.
• Implantação Progressiva: Novos agentes são implantados com 1–5% do tráfego, com escalonamento baseado em confiança para agentes humanos.
• Portabilidade de Modelo: A arquitetura modular permite uma adaptação rápida ao migrar entre modelos de fundação (ex: de GPT-4.1 para GPT-5) através do ajuste de componentes específicos de prompt, em vez de reescrever todo o sistema.

Principais Contribuições

1. Framework Unificado: Um sistema de ciclo fechado que conecta arquitetura de agentes, versionamento de prompts, avaliação offline e medição online.
2. Engenharia de Contexto Modular: Um padrão de design que permite o versionamento independente de instruções, rotinas, macros e ferramentas.
3. Pipeline de Juiz de LLM Calibrado: Um sistema de avaliação rigoroso que apresenta requisitos de confiabilidade inter-avaliador, prompts de juiz otimizados por GEPA e validação cruzada de modelos.
4. Resultados Validados em Produção: Evidência empírica de cinco implantações distintas em produção (Entrega de Cartão, Gestão de Dívidas, Limite de Crédito, Gestão de Cartão, Explicador de Produto).

Resultados

O framework foi validado em cinco casos de uso de produção, sendo o agente de Entrega de Cartão o principal estudo de caso.

Implantação de Entrega de Cartão (Resultados Principais)

• Satisfação do Cliente: Alcançou uma melhoria de 37 pontos percentuais (p.p.) no NPS Transacional de IA (tNPS) em comparação com variantes anteriores.
• Automação: Alcançou um ganho de 29 p.p. na Taxa de Autoatendimento (SSR).
• Paridade Humana: O tNPS final da IA ficou a dentro de 10 p.p. dos agentes humanos especialistas.
• Correlação Offline-Online: Observou-se uma forte correlação positiva entre as taxas de falha de avaliação offline e os ganhos de tNPS/SSR online. Versões com os maiores ganhos offline (ex: V10) entregaram os maiores ganhos online.

Desempenho entre Domínios

Em todos os cinco domínios, o framework entregou ganhos consistentes:

• Gestão de Dívidas: Ganho de +40 p.p. no tNPS (embora uma lacuna maior de -23,6 p.p. tenha permanecido em relação aos humanos, refletindo a complexidade do domínio).
• Limite de Crédito: Ganho de +4,5 p.p. no tNPS; reduções significativas nas taxas de falha do avaliador para contexto e empatia.
• Gestão de Cartão: Ganho de +38,3 p.p. no tNPS.
• Explicador de Produto: Ganho de +12,3 p.p. no tNPS.

Eficácia do Pipeline de Avaliação

• Otimização de Prompt: A otimização automatizada (GEPA) superou consistentemente a engenharia de prompt manual e os baselines de classe majoritária. Por exemplo, no Eval E3, a precisão subiu de 58,07% (manual) para 73,01% (otimizado).
• Acordo Inter-Avaliador: Prompts "iniciais" não otimizados resultaram em concordância negligenciável entre modelos ($\kappa \approx 0,00$ a $0,10$). Prompts otimizados via GEPA aumentaram significativamente a concordância (ex: $\kappa = 0,745$ entre GPT-4.1 e GPT-4.1-mini; $\kappa = 0,950$ entre modelos intensivos em raciocínio).

Significância e Alegações

O artigo afirma que a qualidade da avaliação é o principal determinante da velocidade de iteração. Ao estabelecer um "loop rápido" confiável através de juízes calibrados e rigorosa concordância inter-avaliador, as equipes podem iterar com confiança offline sem esperar por sinais esparsos online.

Os autores afirmam que seu framework conecta com sucesso a lacuna entre a simulação offline e a realidade online, demonstrando que o desenvolvimento orientado pela avaliação prevê de forma confiável o impacto em produção. A metodologia prova ser generalizável para diversos domínios de suporte ao cliente, permitindo que organizações escalem agentes de IA para mais de 100 milhões de usuários mantendo alta qualidade, conformidade e satisfação do cliente. O trabalho enfatiza que, embora os agentes de IA possam se aproximar do desempenho humano em muitos domínios, as tarefas mais difíceis (como gestão de dívidas) ainda exigem supervisão humana cuidadosa e refinamento iterativo.