Persistent AI Agents in Academic Research: A Single-Investigator Implementation Case Study

Resumo Técnico: Agentes de IA Persistentes na Pesquisa Acadêmica

Declaração do Problema
As avaliações atuais de Modelos de Linguagem de Grande Escala (LLMs) focam predominantemente no desempenho isolado do modelo, em pontuações de benchmarks ou em episódios conversacionais curtos. Essas abordagens falham em capturar a realidade de como a IA está cada vez mais incorporada em fluxos de trabalho acadêmicos contínuos e do mundo real. Em tais ambientes, os agentes operam com memória durável, acesso a arquivos locais e ferramentas externas, rotinas agendadas, papéis delegados e protocolos de segurança explícitos. Há uma falta de descrições quantitativas e baseadas na prática desses "ambientes de pesquisa agêntica persistentes", particularmente no que diz respeito à sua arquitetura, consumo de recursos, acumulação de governança e perfis econômicos ao longo de períodos prolongados.

Metodologia
O estudo apresenta um caso de estudo de implementação estruturada e auto-observada conduzido ao longo de 115 dias (31 de janeiro a 25 de maio de 2026) por um único médico-cientista acadêmico.

• Unidade de Análise: O "ambiente humano-agente", compreendendo o pesquisador, o tempo de execução do agente, a camada de memória, ferramentas, repositórios, trabalhos agendados e regras de governança.
• Fontes de Dados: Telemetria de sessão recuperável (deduplicada), arquivos de memória, inventários de repositórios, registros de uso do modelo, registros de decisão e atualizações de protocolo.
• Estrutura de Medição: Os autores introduziram o PARE-M (Medição de Ambiente de Pesquisa Agêntica Persistente) v0.1, uma estrutura descritiva que organiza as métricas em cinco domínios:
  1. Utilização: Fração de dias ativos, contagens de registros deduplicados, papéis de mensagem, chamadas de ferramentas e tempo de sistema ativo (estimado via algoritmos de lacuna limitada).
  2. Saídas: Eventos proxy de saída (entradas de memória indicando artefatos concluídos) e amplitude da superfície de artefatos.
  3. Recursos: Telemetria de tokens (entrada, saída, leitura de cache, gravação de cache) e especificações de infraestrutura de tempo de execução.
  4. Reprodutibilidade: Esquemas de dados, regras de análise e lógica de deduplicação.
  5. Governança: Taxas de falha, verificação, correção e eventos proxy de protocolo.
• Restrições: O estudo não é um ensaio de produtividade controlado; carece de um grupo de controle, período de produtividade de base ou codificação independente para eventos de governança. As alegações são descritivas, não causais.

Principais Resultados

• Arquitetura do Sistema e Utilização: O ambiente acumulou 502 arquivos relacionados à memória, 17 diretórios de agente configurados e 57 arquivos de habilidade. Ao longo de 96 dias ativos (83,5% da janela de observação), o sistema gerou 75.671 registros deduplicados, incluindo 8.059 mensagens de usuário, 23.710 mensagens de assistente e 2.385 eventos de chamada de ferramenta. O tempo de sistema ativo foi estimado em 579,7 horas (usando um limite de lacuna de 30 minutos).
• Saídas e Governança: O sistema produziu 482 eventos proxy de saída (5,02 por dia ativo) em 10 categorias distintas de artefatos (manuscritos, materiais de ensino, software, operações, etc.). Crucialmente, a camada de governança estava ativa e integrada, registrando 889 eventos de falha, verificação, correção ou proxy de protocolo (9,26 por dia ativo).
• Perfil de Recursos (Telemetria de Tokens): A análise de um subconjunto estrito de 1 a 25 de maio (627 eventos concluídos pelo modelo) revelou um fluxo de trabalho dominado por cache. Dos 73,95 milhões de tokens registrados, 61,28 milhões (82,9%) foram tokens de leitura de cache. Os tokens de entrada representaram cerca de 10,7 milhões, e os tokens de saída cerca de 0,75 milhão.
• Implicações Econômicas: O gasto direto preliminar foi de aproximadamente US$ 1.961. No entanto, a alta proporção de leitura de cache sugere que o "custo por token" é um mau proxy para valor em fluxos de trabalho persistentes, pois o sistema depende fortemente de contexto reutilizado em vez de geração de inferência fresca.

Principais Contribuições

1. Descrição Empírica do Sistema: Fornece a primeira descrição quantitativa e longitudinal de um agente de IA persistente operando dentro de um fluxo de trabalho de pesquisa acadêmica real, indo além das interações isoladas de chatbot.
2. Estrutura PARE-M: Introduz uma estrutura de medição (PARE-M) especificamente projetada para avaliar ambientes agênticos persistentes, enfatizando denominadores em nível de artefato, regras de reprodutibilidade e rastreamento de eventos de governança.
3. Evidência de Domínio de Cache: Demonstra que, em fluxos de trabalho persistentes, a maioria do uso de tokens consiste em leituras de cache (82,9%), indicando que a unidade econômica de valor se desloca de "custo por token" para "custo por artefato concluído" ou "custo por fluxo de trabalho verificado".
4. Integração de Governança: Mostra que os protocolos de segurança e governança (por exemplo, verificação de citações, verificações de implantação) acumulam-se na camada de memória como parte operacional do ambiente, em vez de existirem como apêndices de política separados.

Significado e Alegações
O artigo alega modestamente que a infraestrutura agêntica persistente expande a capacidade e o escopo do trabalho acadêmico, em vez de provar uma redução direta na entrada de trabalho humano. A principal descoberta é que, à medida que o ambiente acumula memória, ferramentas e procedimentos, o escopo do trabalho delegado se expande.

Os autores argumentam que os benchmarks episódicos (por exemplo, HELM, SWE-bench) perdem o fenômeno da implantação vivida. As futuras avaliações devem afastar-se do volume bruto de tokens e avançar em direção a:

• Métricas de eficiência em nível de artefato.
• Estimativas de custo por artefato.
• Codificação independente de eventos de governança.
• Regras de análise reprodutíveis para telemetria do sistema.

O estudo conclui que, embora o sistema não tenha demonstrado substituição de trabalho neste caso de um único investigador, ele estabeleceu um sistema de trabalho durável abrangendo pesquisa, ensino, software e operações, necessitando de novos padrões para medição, contabilidade de custos e governança de segurança em pesquisas assistidas por IA.