Resumo Técnico: Sistema de Suporte ao Cliente Agêntico de Autoevolução na LinkedIn

Declaração do Problema

O suporte ao cliente em nível empresarial opera em um ambiente dinâmico onde as capacidades do produto, políticas e bases de conhecimento evoluem continuamente. Assistentes de IA tradicionais de "configurar e esquecer", construídos sobre prompts manuais estáticos e pipelines de recuperação fixos, tornam-se frágeis e caros de manter sob essas condições. Pequenas mudanças ascendentes — como lançamentos de produtos, depreciação de conteúdo ou atualizações de API — podem induzir regressões, incluindo alucinações, orientações obsoletas e tom multilíngue inconsistente. Os agentes de produção existentes carecem de um ciclo de feedback principiado para detectar essas regressões, localizar falhas em componentes específicos e adaptar-se sem intervenção humana pesada ou retreinamento custoso de modelos de fundação.

Metodologia

Os autores apresentam um sistema de ciclo fechado e autoevoluível que trata prompts, recuperação e avaliação como artefatos versionados dentro de uma estrutura modular. O sistema evita o ajuste fino (fine-tuning) de modelos de fundação, baseando-se na geração aumentada por recuperação (RAG) e na otimização evolutiva de prompts.

1. Arquitetura do Sistema

O sistema opera através de dois loops acoplados:

• Loop de Inferência Interno: O agente recebe consultas de usuários e contexto, condicionado por um prompt de sistema de um Mecanismo de Auto-Prompt. Ele trata o RAG como uma ação explícita (paradigma de raciocínio e ação — reasoning-and-acting), decidindo quando recuperar evidências de um lago de conteúdo versionado (artigos de ajuda, conteúdo de aprendizagem, documentação) e como integrá-las.
• Loop de Otimização Externo: Um framework de avaliação modular pontua as saídas do agente. Esses sinais de aptidão (fitness) retroalimentam o Mecanismo de Auto-Prompt, que refina o prompt do sistema via busca evolutiva.

2. Mecanismo de Auto-Prompt (Auto-Prompt Engine)

Para superar o gargalo do desenvolvimento manual de prompts, o sistema utiliza um Mecanismo de Engenharia de Prompt Automática baseado em algoritmos genéticos.

• Processo: Uma população de prompts candidatos é inicializada usando regras de negócio específicas do domínio. Ao longo de múltiplas gerações, os prompts evoluem através de seleção, cruzamento (crossover) e mutação.
• Restrições: Regras de negócio (segurança, política, tom) são tratadas como restrições rígidas imutáveis. Prompts que violam essas regras são filtrados ou recebem aptidão zero antes da seleção, garantindo que os ganhos evolutivos visem a precisão sem erodir a conformidade.
• Avaliação: Os prompts são avaliados contra métricas específicas da tarefa usando uma combinação de diagnósticos baseados em regras e juízes baseados em LLM.

3. Geração Aumentada por Recuperação (RAG)

O sistema fundamenta as respostas em conhecimento proprietário em vez de memória paramétrica do modelo.

• Recuperação Dinâmica: O RAG é exposto como uma ferramenta que o agente invoca dentro de seu loop de raciocínio, permitindo que o modelo decida quando e como consultar.
• Lago de Conteúdo Versionado: A base de conhecimento é consolidada de três fontes e atualizada via pipeline de ETL. O conteúdo é tagueado com facetas de produto, localidade e data de captura (snapshot). Um ponteiro de captura garante que a recuperação seja limitada à versão mais recente, substituindo o conteúdo anterior sem exclusão, permitindo a recuperação reproduzível.
• Técnica: Recuperação híbrida densa-esparsa seguida de reclassificação semântica retorna documentos com procedência para citação.

4. Framework de Avaliação Modular

Dada a escala (mais de 36 idiomas) e o desvio de conhecimento (knowledge drift), o sistema utiliza um framework modular e agêntico em vez de conjuntos de ouro (gold sets) estáticos.

• Dimensões: A qualidade é decomposta em sinais interpretáveis: fundamentação (grounding), alinhamento de intenção, correção de execução de ferramentas e fidelidade multilíngue.
• Mecanismo: Agentes avaliadores especializados combinam verificações baseadas em regras com julgamentos de LLM. Para qualidade multilíngue, módulos detectam trechos não traduzidos, verificam terminologia e medem a fluência (ex: via perplexidade XGLM).
• Feedback: Os sinais são agregados através de uma camada de consenso calibrada contra anotações humanas e armazenados em um formato versionado e reproduzível para direcionar a otimização.

5. Engenharia e Implantação

A arquitetura de produção prioriza confiabilidade e iteração segura:

• Orquestração e Fallback: Uma camada leve media o tráfego com roteamento determinístico e degradação graciosa, recorrendo ao suporte humano se os componentes de IA degradarem.
• Configuração sobre Código: Prompts e políticas são montados dinamicamente. A evolução é enviada via configuração e atualização de artefatos, em vez de implantações de código.
• Memória Versionada: O sistema evita memória de longo horizonte não controlada; o conhecimento é promovido apenas através de artefatos explicitamente versionados e avaliados para garantir auditabilidade e capacidade de reversão (rollback).
• Telemetria: A telemetria de execução serve como o substrato tanto para monitoramento quanto para avaliação automatizada, formando o plano de controle para implantação controlada (gated deployment).

Principais Contribuições

1. Agente de Autoevolução de Ponta a Ponta: Um sistema que mantém a confiabilidade sob mudança contínua ascendente via avaliação e otimização de ciclo fechado sem retreinar os modelos de base.
2. Mecanismo de Evolução de Prompt Automática: Um mecanismo baseado em algoritmos genéticos adequado para restrições empresariais, otimizando tom, política e capacidades multilíngues.
3. Framework de Avaliação Modular: Um framework de múltiplos sinais que decompõe a qualidade em dimensões acionáveis para depuração em escala.
4. Camada de RAG e Ferramentas com Controle de Versão: Uma infraestrutura que suporta reprodutibilidade, implementação segura e reversão.

Resultados Experimentais

Simulações Offline e Ablações

• Desempenho de RAG: O Agente de IA de Suporte completo alcançou uma taxa de alucinação de <0,1% e completude de 87,8%, superando significativamente o RAG Vanilla (5,3% de alucinação, 78,7% de completude) e outras linhas de base de RAG agêntico.
• Otimização de Prompt: A busca evolutiva com tanto cruzamento quanto mutação aumentou a precisão média do prompt de 62,6% para 68,0% ao longo de duas gerações, com o melhor prompt atingindo 73,3%. Remover qualquer um dos operadores resultou em saturação precoce.
• Sinais do Avaliador: A fundamentação (groundedness) foi identificada como o principal driver da confiabilidade do avaliador; removerla causou uma queda de 11% no alinhamento com rótulos humanos. Colapsar todos os sinais em uma única pontuação teve o pior desempenho (67% de alinhamento).
• Avaliação Multilíngue: Um avaliador multi-agente modular alcançou 84,8% de precisão em tarefas de tradução Inglês-Chinês, superando o COMET (49,7%) e juízes LLM de agente único (76,5%).

Teste A/B Online

Um experimento randomizado de duas semanas no tráfego de produção da LinkedIn comparou o agente de produção original com o fluxo de trabalho autoevoluído integrado:

• Autoatendimento de QA: Aumentou em 9,0 pontos percentuais (de 33,7% para 42,7%).
• Autoatendimento de Cancelamento: Aumentou em 4,8 pontos percentuais (de 61,9% para 66,6%).
• Precisão de Roteamento: Aumentou em 30,6 pontos percentuais (de 38,2% para 68,8%).
• Segurança: Não foram observadas regressões nas taxas de escalonamento, pontuações de feedback, latência ou incidentes de moderação.

Significância e Limitações

O artigo demonstra um caminho prático para agentes de IA autoevoluíveis e escaláveis em ambientes empresariais reais. Argumenta-se que tratar prompts, recuperação e avaliação como artefatos versionados e otimizáveis permite que os sistemas se adaptem a rápidas mudanças de conhecimento e política sem a latência e o custo do retreinamento de modelos de fundação.

Os autores reconhecem diversas limitações:

• Dependência de Avaliador: O sistema depende de avaliadores "LLM-as-judge", exigindo verificações cruzadas adicionais com avaliadores abertos para caracterizar a variância.
• Custo e Latência: A busca genética incorre em custos de inferência e leva horas ou dias por ciclo.
• Escopo: O estudo online foi limitado a uma única implantação empresarial durante duas semanas.
• Atribuição: Os resultados online refletem o fluxo de trabalho integrado; implantações fatoriais são necessárias para isolar a contribuição marginal de cada componente.
• Teto de Recuperação: O desempenho do sistema é limitado pela cobertura do lago de conteúdo subjacente; se os documentos autoritativos estiverem ausentes, o agente suprime corretamente as alucinações, mas não consegue sintetizar respostas corretas.
• Dependências: O sistema de produção depende de modelos de código fechado e backends de busca, embora a abordagem seja teoricamente viável com equivalentes de código aberto.