Resumo Técnico: Medindo Agentes em Produção (MAP)

Declaração do Problema

Apesar da rápida proliferação de agentes baseados em Grandes Modelos de Linguagem (LLMs) na pesquisa e do crescente entusiasmo em torno de seu potencial em setores como finanças, saúde e educação, há uma falta significativa de compreensão empírica sobre quais métodos técnicos realmente permitem implantações bem-sucedidas em produção. Enquanto a literatura de pesquisa frequentemente foca em maximizar a autonomia e o desempenho em benchmarks, relatórios da indústria sugerem que muitos projetos de agentes falham ou entregam menos do que o esperado. O campo carece de um relato sistemático e de primeira mão sobre como as organizações constroem, avaliam e mantêm agentes em ambientes do mundo real, criando um abismo entre as narrativas de pesquisa e as realidades da engenharia.

Metodologia

Para abordar essa lacuna de conhecimento, os autores apresentam o MAP (Measuring Agents in Production), o primeiro estudo sistemático de grande escala sobre agentes de IA em produção. O estudo emprega uma abordagem de métodos mistos, combinando profundidade qualitativa com amplitude quantitativa:

• Estudos de Caso Detalhados: Os autores conduziram 20 entrevistas semiestruturadas (30–90 minutos) com equipes de implantação, abrangendo desde grandes empresas de tecnologia até startups de agentes. Esses casos passam por cinco setores, várias maturidades organizacionais (de startups a empresas globais) e escalas de implantação de centenas a milhões de usuários. O estudo utilizou amostragem de bola de neve para garantir diversidade de domínios e alcance geográfico.
• Pesquisa de Grande Escala: Um questionário de 47 perguntas foi distribuído a profissionais que constroem sistemas de agentes em 26 domínios. O estudo recebeu 306 respostas válidas. Para focar nas realidades de produção, os autores filtraram os dados para 86 sistemas explicitamente em fase de produção ou piloto, atendendo de centenas a milhões de usuários diários.
• Análise de Dados: Os dados qualitativos das entrevistas foram analisados por meio de teoria fundamentada (codificação aberta e focada) por múltiplos pesquisadores para identificar temas recorrentes. Os dados quantitativos da pesquisa foram processados com rigor estatístico, incluindo intervalos de confiança de 95% calculados via 1.000 amostras de bootstrap. A classificação de domínio para respostas de texto livre utilizou agregação semântica (LOTUS) seguida de anotação humana.

Principais Contribuições

O artigo apresenta três contribuições primárias para o campo:

1. Primeiro Estudo Empírico de Grande Escala: Fornece o primeiro conjunto de dados sistemático sobre agentes em produção, combinando 20 estudos de caso profundos com dados de pesquisa de 86 sistemas implantados, indo além de evidências anedóticas ou pesquisas puramente teóricas.
2. Caracterização Através de 17 Dimensões de Design: O estudo oferece dados quantitativos e qualitativos sobre decisões técnicas críticas, incluindo seleção de modelos, arquitetura, estratégias de prompting, métodos de avaliação, domínios de aplicação e restrições operacionais.
3. Insights Baseados em Dados sobre Confiabilidade: Desafia suposições comuns de pesquisa ao demonstrar que os profissionais alcançam confiabilidade por meio de escolhas de design ao nível do sistema (ex: autonomia limitada, humano no circuito/human-in-the-loop) em vez de apenas através de avanços algorítmicos ou ao nível do modelo.

Principais Resultados

O estudo aborda quatro questões de pesquisa (RQs), gerando os seguintes achados:

RQ1: Aplicações de Agentes

• Motivação: O principal motor para a adoção é o ganho de produtividade (80% dos respondentes), especificamente a redução de horas de tarefas humanas. Benefícios mais difíceis de quantificar, como mitigação de riscos, são menos comuns.
• Domínios: Embora Finanças, Tecnologia e Serviços Corporativos liderem a adoção, os agentes estão sendo implantados em 26 domínios diversos, estendendo-se muito além das tarefas tradicionais de engenharia de software.
• Usuários: 92,5% dos agentes implantados servem usuários humanos (funcionários internos ou clientes externos) em vez de outros sistemas de software. Este design centrado no humano permite supervisão direta.
• Latência: Agentes de produção toleram latências surpreendentemente relaxadas; 66% permitem tempos de resposta de minutos ou mais. Fluxos de trabalho assíncronos são comuns, pois os agentes frequentemente superam as bases humanas mesmo com atrasos significativos.

RQ2: Modelos, Arquiteturas e Técnicas

• Seleção de Modelo: Agentes implantados dependem fortemente de modelos proprietários de fronteira (17/20 estudos de caso). Modelos de código aberto são usados principalmente por restrições de custo ou regulatórias.
• Ajuste (Tuning): As equipes favorecem amplamente o prompting em vez do ajuste de pesos. 70% dos casos usam modelos prontos (off-the-shelf) sem fine-tuning supervisionado (SFT) ou aprendizado por reforço (RL). O pós-treinamento é visto como frágil a atualizações de modelos e caro para manter.
• Prompting: Humanos permanecem centrais na construção de prompts (79% manual ou manual + LLM). A otimização automatizada de prompts é rara (9%). Os comprimentos dos prompts variam amplamente, com alguns excedendo 10.000 tokens para guardrails complexos.
• Arquitetura: Fluxos de trabalho estruturados dominam (80% dos casos). Agentes tipicamente executam menos de 10 etapas antes de exigirem intervenção humana (68%). A autonomia total é deliberadamente restringida para garantir a confiabilidade.
• Frameworks: Equipes de produção preferem implementações customizadas internas (85% dos estudos de caso) em vez de frameworks de terceiros (ex: LangChain) para garantir flexibilidade, simplicidade e controle sobre a infraestrutura proprietária.

RQ3: Métodos de Avaliação

• Falta de Padronização: 75% das equipes avaliam sem benchmarks formais, baseando-se em vez disso em testes A/B, feedback de usuários e monitoramento de produção.
• Humano no Circuito (Human-in-the-Loop): 74% dos agentes implantados dependem primariamente de avaliação humana no circuito. Métodos automatizados como "LLM-as-a-judge" (52%) servem como verificação complementar, mas raramente substituem a revisão humana.
• Baselines: Apenas 39% das equipes comparam explicitamente os agentes contra baselines não-agênticos, muitas vezes porque a alternativa é um híbrido complexo de processos humanos e de software.

RQ4: Principais Desafios

• Confiabilidade: A confiabilidade (comportamento correto consistente) é o principal desafio de desenvolvimento. As equipes mitigam isso através de restrições ambientais estritas (ex: modos de apenas leitura, sandboxing) e autonomia limitada.
• Avaliação: A escassez de benchmarks formais e a dificuldade de verificar tarefas do mundo real (onde o feedback é atrasado) dificultam a avaliação automatizada.
• Segurança: A segurança é frequentemente abordada implicitamente através do design do sistema (ex: acesso de apenas leitura, acordos contratuais com provedores de modelos) em vez de ser um gargalo primário de desenvolvimento, embora continue sendo uma preocupação conforme as implantações se expandem.

Significância e Alegações

O artigo afirma que o MAP fornece à comunidade de pesquisa visibilidade sobre as realidades de implantação, conectando avanços teóricos com restrições práticas. Os autores argumentam que o "princípio subjacente" de agentes de produção bem-sucedidos é a confiabilidade através do design do sistema, e não apenas através da otimização do modelo.

Principais lições para a comunidade de pesquisa incluem:

• Divergência da Pesquisa: Técnicas de implantação (simples, controláveis, supervisionadas por humanos) divergem dos métodos populares de pesquisa (alta autonomia, RL complexo, otimização automatizada).
• Oportunidades de Pesquisa: O estudo identifica vias subexploradas, como pós-treinamento eficiente em amostras que sobreviva a atualizações de modelos, escalonamento de inferência para agentes tolerantes à latência e orquestração multi-modelo.
• Humano no Circuito como Princípio de Design: Em vez de ver a supervisão humana como uma restrição temporária a ser superada, os dados sugerem que ela é um componente arquitetônico deliberado e duradouro para garantir a correção em domínios complexos.

Os autores posicionam o MAP não como um censo abrangente de todo o desenvolvimento global de agentes, mas como uma iniciativa para documentar a "vanguarda" das práticas de produção, oferecendo evidências empíricas para guiar pesquisas futuras rumo à entrega de valor no mundo real.