Persistent AI Agents in Academic Research: A Single-Investigator Implementation Case Study

Resumen Técnico: Agentes de IA Persistentes en la Investigación Académica

Enunciado del Problema
Las evaluaciones actuales de los Modelos de Lenguaje Grandes (LLM) se centran predominantemente en el rendimiento aislado del modelo, las puntuaciones de referencia o episodios conversacionales cortos. Estos enfoques no logran capturar la realidad de cómo la IA se integra cada vez más en flujos de trabajo académicos continuos y del mundo real. En tales entornos, los agentes operan con memoria duradera, acceso a archivos locales y herramientas externas, rutinas programadas, roles delegados y protocolos de seguridad explícitos. Existe una falta de descripciones cuantitativas y basadas en la práctica de estos "entornos de investigación agéntica persistentes", particularmente en lo que respecta a su arquitectura, consumo de recursos, acumulación de gobernanza y perfiles económicos a lo largo de períodos prolongados.

Metodología
El estudio presenta un caso de estudio de implementación estructurado y autoobservado, realizado durante 115 días (del 31 de enero al 25 de mayo de 2026) por un único médico-científico académico.

• Unidad de Análisis: El "entorno humano-agente", que comprende al investigador, el tiempo de ejecución del agente, la capa de memoria, las herramientas, los repositorios, los trabajos programados y las reglas de gobernanza.
• Fuentes de Datos: Telemetría de sesiones recuperable (desduplicada), archivos de memoria, inventarios de repositorios, registros de uso del modelo, registros de decisiones y actualizaciones de protocolos.
• Marco de Medición: Los autores introdujeron PARE-M (Medición del Entorno de Investigación Agéntica Persistente) v0.1, un marco descriptivo que organiza las métricas en cinco dominios:
  1. Utilización: Fracción de días activos, conteos de registros desduplicados, roles de mensajes, llamadas a herramientas y tiempo de sistema activo (estimado mediante algoritmos de brecha limitada).
  2. Salidas: Eventos proxy de salida (entradas de memoria que indican artefactos completados) y amplitud de la superficie de artefactos.
  3. Recursos: Telemetría de tokens (entrada, salida, lectura de caché, escritura de caché) y especificaciones de infraestructura de tiempo de ejecución.
  4. Reproducibilidad: Esquemas de datos, reglas de análisis y lógica de desduplicación.
  5. Gobernanza: Tasas de fallo, verificación, corrección y eventos proxy de protocolo.
• Restricciones: El estudio no es un ensayo de productividad controlado; carece de un grupo de control, un período base de productividad o codificación independiente para eventos de gobernanza. Las afirmaciones son descriptivas y no causales.

Resultados Clave

• Arquitectura del Sistema y Utilización: El entorno acumuló 502 archivos relacionados con la memoria, 17 directorios de agentes configurados y 57 archivos de habilidades. Durante más de 96 días activos (83,5 % de la ventana de observación), el sistema generó 75.671 registros desduplicados, incluyendo 8.059 mensajes de usuario, 23.710 mensajes de asistente y 2.385 eventos de llamada a herramientas. El tiempo de sistema activo se estimó en 579,7 horas (utilizando un límite de brecha de 30 minutos).
• Salidas y Gobernanza: El sistema produjo 482 eventos proxy de salida (5,02 por día activo) a través de 10 categorías distintas de artefactos (manuscritos, materiales de enseñanza, software, operaciones, etc.). Crucialmente, la capa de gobernanza estuvo activa e integrada, registrando 889 eventos de fallo, verificación, corrección o proxy de protocolo (9,26 por día activo).
• Perfil de Recursos (Telemetría de Tokens): El análisis de un subconjunto estricto del 1 al 25 de mayo (627 eventos completados por el modelo) reveló un flujo de trabajo dominante por caché. De los 73,95 millones de tokens registrados, 61,28 millones (82,9 %) fueron tokens de lectura de caché. Los tokens de entrada representaron aproximadamente 10,7 millones, y los tokens de salida aproximadamente 0,75 millones.
• Implicaciones Económicas: El gasto directo preliminar fue de aproximadamente 1.961 dólares estadounidenses. Sin embargo, la alta proporción de lecturas de caché sugiere que el "costo por token" es un mal proxy para el valor en flujos de trabajo persistentes, ya que el sistema depende en gran medida del contexto reutilizado en lugar de la generación de inferencia fresca.

Contribuciones Clave

1. Descripción Empírica del Sistema: Proporciona la primera descripción cuantitativa y longitudinal de un agente de IA persistente operando dentro de un flujo de trabajo de investigación académica real, avanzando más allá de las interacciones aisladas de chatbots.
2. Marco PARE-M: Introduce un marco de medición (PARE-M) diseñado específicamente para evaluar entornos agénticos persistentes, enfatizando denominadores a nivel de artefacto, reglas de reproducibilidad y seguimiento de eventos de gobernanza.
3. Evidencia de Dominancia de Caché: Demuestra que en flujos de trabajo persistentes, la mayoría del uso de tokens consiste en lecturas de caché (82,9 %), lo que indica que la unidad económica de valor se desplaza del "costo por token" al "costo por artefacto completado" o "costo por flujo de trabajo verificado".
4. Integración de Gobernanza: Muestra que los protocolos de seguridad y gobernanza (por ejemplo, verificación de citas, comprobaciones de implementación) se acumulan dentro de la capa de memoria como una parte operativa del entorno, en lugar de existir como anexos de política separados.

Significado y Afirmaciones
El artículo afirma modestamente que la infraestructura agéntica persistente expande la capacidad y el alcance del trabajo académico, en lugar de demostrar una reducción directa en la entrada de trabajo humano. El hallazgo principal es que, a medida que el entorno acumula memoria, herramientas y procedimientos, el alcance del trabajo delegado se expande.

Los autores argumentan que las referencias episódicas (por ejemplo, HELM, SWE-bench) pasan por alto el fenómeno del despliegue vivencial. Las futuras evaluaciones deberían alejarse del volumen bruto de tokens y avanzar hacia:

• Métricas de eficiencia a nivel de artefacto.
• Estimaciones de costo por artefacto.
• Codificación independiente de eventos de gobernanza.
• Reglas de análisis reproducibles para la telemetría del sistema.

El estudio concluye que, si bien el sistema no demostró sustitución laboral en este caso de un solo investigador, estableció un sistema de trabajo duradero que abarca investigación, enseñanza, software y operaciones, lo que requiere nuevos estándares para la medición, la contabilidad de costos y la gobernanza de seguridad en la investigación asistida por IA.