Help Without Being Asked: A Deployed Proactive Agent System for On-Call Support with Continuous Self-Improvement

Este artículo presenta a Vigil, un agente proactivo desplegado en la plataforma Volcano Engine de ByteDance que asiste continuamente a los analistas humanos durante todo el ciclo de vida de los tickets de soporte, ofreciendo ayuda sin ser solicitado y mejorando autónomamente mediante el aprendizaje de casos resueltos.

Lo esencial

¡Claro que sí! Imagina que el sistema de soporte técnico de una gran empresa de nube (como Volcano Engine de ByteDance) es como un hospital de urgencias muy concurrido.

Aquí te explico de qué trata el papel "Vigil" usando esta analogía:

🏥 El Problema: El Médico Agotado y el Enfermero que se va

Imagina que llegan miles de pacientes (clientes) cada día con problemas informáticos.

• El sistema antiguo (Agentes Reactivos): Era como un enfermero robot que atendía la puerta. Si el paciente tenía una pregunta sencilla, el robot la resolvía. Pero, en cuanto el problema se ponía difícil y el paciente tenía que hablar con un médico humano (el analista de soporte), el robot se iba a casa.
  • El resultado: El médico humano tenía que hacer todo el trabajo, responder las mismas preguntas una y otra vez, y el paciente tenía que esperar. El robot no aprendía de los casos difíciles porque ya no estaba ahí cuando se resolvían.

🚀 La Solución: "Vigil", el Enfermero Proactivo

Los autores crearon un nuevo sistema llamado Vigil. Imagina a Vigil no como un robot que espera a que le llamen, sino como un enfermero experto que camina junto al médico humano mientras atiende al paciente.

Aquí están sus superpoderes explicados de forma sencilla:

1. Ayuda sin que te lo pidan (Proactividad)

En lugar de esperar a que el paciente le grite "¡Oye, robot!", Vigil escucha la conversación entre el cliente y el médico.

• La analogía: Si el médico está ocupado revisando una radiografía compleja y el paciente pregunta: "¿Y cómo actualizo mi lista de permisos?", Vigil interviene inmediatamente y le da la respuesta al paciente, mientras el médico sigue con su tarea.
• El beneficio: El médico no pierde tiempo respondiendo cosas que el robot sabe, y el paciente no tiene que esperar. Vigil actúa como un "asistente de segunda mano" que nunca se cansa.

2. Aprende mientras trabaja (Auto-mejora Continua)

Esta es la parte más genial. Imagina que Vigil es como un estudiante que toma notas en tiempo real.

• Escenario A (El robot no sabe): Si el robot no sabe la respuesta, el médico humano la da. Vigil escucha esa respuesta, la anota en su cuaderno y la guarda para la próxima vez.
• Escenario B (El robot se equivocó): Si el robot da una respuesta y el paciente dice "No, eso no funciona", Vigil revisa su cuaderno. Si ve que el médico dio una mejor solución después, Vigil borra su nota vieja y escribe la nueva.
• El resultado: Vigil no necesita que alguien le actualice su manual de instrucciones cada semana. Aprende solo de cada emergencia que resuelven los humanos, volviéndose más inteligente cada día.

3. No molesta, solo ayuda (Tarjetas Inteligentes)

Para que Vigil no parezca un intruso gritando en la conversación, sus respuestas aparecen en una tarjeta especial en la pantalla.

• La analogía: Es como si el robot le pasara un post-it amarillo al médico con la respuesta escrita. El médico puede leerlo, verificarlo y decir "¡Sí, eso es correcto!" con un clic. Así, el cliente sabe que es un robot ayudando, pero el médico sigue teniendo el control.

📊 ¿Funciona de verdad?

El equipo probó Vigil durante 10 meses en la plataforma real de ByteDance.

• Los números: Procesó más de 130,000 llamadas de soporte.
• El éxito: En casi la mitad de las llamadas donde ya estaba el médico humano, Vigil logró responder preguntas adicionales, ahorrando tiempo al personal.
• La mejora: Gracias a que aprende solo, sus respuestas se volvieron mucho más precisas con el tiempo, reduciendo la necesidad de que los humanos repitan explicaciones.

💡 En resumen

Vigil es como un aprendiz de médico que nunca duerme. No reemplaza a los doctores humanos; al contrario, les quita el trabajo pesado de responder preguntas básicas mientras ellos resuelven los casos complejos. Y lo mejor de todo: aprende de cada caso que resuelven, convirtiéndose en un experto cada vez más rápido, sin necesidad de que nadie le enseñe manualmente.

Es la diferencia entre tener un robot que se va cuando las cosas se ponen difíciles, y tener un compañero de equipo que te ayuda a terminar el trabajo y aprende a hacerlo mejor para la próxima vez.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Help Without Being Asked: A Deployed Proactive Agent System for On-Call Support with Continuous Self-Improvement" (Ayuda sin ser solicitado: Un sistema de agente proactivo desplegado para soporte en guardia con auto-mejora continua), presentado en español.

---

Resumen Técnico: Vigil, un Agente Proactivo para Soporte en Guardia

1. El Problema

En las plataformas de servicios en la nube a gran escala (como Volcano Engine de ByteDance), el volumen de tickets de soporte diarios es masivo y se gestiona principalmente mediante diálogos de chat en tiempo real ("on-call"). Esto genera una carga de trabajo significativa para los analistas humanos.

La investigación actual se ha centrado en agentes reactivos basados en Modelos de Lenguaje Grande (LLM) que actúan como primera línea de defensa. Sin embargo, estos sistemas presentan dos limitaciones críticas:

1. Ciclo de acción prematuro: Los agentes reactivos suelen desconectarse o ceder el control a un humano tan pronto como no pueden resolver una consulta específica. Esto impide que el agente ayude con sub-preguntas posteriores que sí podrían estar dentro de su capacidad, perdiendo oportunidades de reducir la carga humana y el tiempo de respuesta.
2. Estancamiento del conocimiento: Los agentes reactivos dependen de bases de conocimiento estáticas y curadas manualmente (RAG). En entornos dinámicos de nube, donde surgen nuevos síntomas, soluciones temporales y parches rápidamente, estas bases de datos no se actualizan lo suficientemente rápido. Esto provoca que el agente no aprenda de las resoluciones exitosas de los humanos en tiempo real, generando respuestas obsoletas o duplicando esfuerzos de diagnóstico.

2. Metodología: El Sistema Vigil

El artículo propone Vigil, un sistema de agente proactivo diseñado para operar a lo largo de todo el ciclo de vida del soporte, integrándose específicamente en la fase donde ya está involucrado el soporte humano.

Arquitectura y Funcionamiento:
Vigil no reemplaza al agente reactivo inicial, sino que actúa como un asistente colaborativo durante la interacción entre el cliente y el analista humano. Sus dos funciones principales son:

• A. Respuesta Proactiva en Línea (Online Proactive Response):

  • Identificación de Preguntas Consciente del Contexto: Vigil monitorea continuamente el diálogo. Utiliza un módulo de clasificación para determinar si un mensaje del cliente está "Dentro del Alcance" (problemas de la plataforma en la nube), "Fuera del Alcance" (decisiones subjetivas complejas) o "No requiere asistencia" (saludos o confirmaciones).
  • Generación de Respuestas: Si la pregunta está dentro del alcance, Vigil la reescribe para hacerla explícita (resolviendo referencias y elipsis), recupera conocimiento mediante una estrategia de RAG multi-ruta (documentos técnicos y pares pregunta-respuesta históricos) y genera una respuesta.
  • Deduplicación: Para evitar respuestas redundantes en conversaciones de múltiples turnos, Vigil compara la semántica de la nueva respuesta con las respuestas anteriores en la misma sesión. Si la similitud supera un umbral ($\theta$), suprime la respuesta.
  • Interfaz de Tarjeta: Las respuestas se presentan en una "tarjeta" visualmente distinta de los mensajes humanos, con citas explícitas y un botón de "Aceptar" para feedback.

• B. Auto-mejora Continua (Continuous Self-Improvement):

  • Aprendizaje de Preguntas No Respondidas: Si Vigil no puede responder y un humano interviene, el sistema extrae automáticamente la solución del diálogo posterior y la guarda como un nuevo par Pregunta-Respuesta (QA).
  • Revisión de Respuestas Generadas: Vigil revisa sus propias respuestas. Si un humano proporciona una respuesta posterior que contradice o corrige a Vigil, el sistema ejecuta una de tres acciones:
    • Mantener: Si la respuesta humana confirma la de Vigil.
    • Eliminar: Si la respuesta de Vigil era incorrecta o la referencia estaba obsoleta.
    • Actualizar: Si hay discrepancias menores (ej. contexto específico), Vigil refina la entrada de conocimiento con nuevos detalles.
  • Aprendizaje de Documentos Externos: Vigil extrae y procesa enlaces a documentación oficial compartidos durante el chat para enriquecer su base de conocimientos con información estructurada y actualizada.

3. Contribuciones Clave

1. Paradigma Proactivo en Soporte Humano: Introducir un agente que permanece activo y colabora con los analistas humanos después de la escalada, extendiendo el ciclo de acción más allá del triaje inicial.
2. Mecanismo de Auto-mejora Automatizado: Un sistema que aprende continuamente de las interacciones en tiempo real y documentos compartidos, reduciendo la dependencia de bases de conocimiento curadas manualmente y manteniendo la información actualizada.
3. Despliegue y Validación en Producción: Implementación real en la plataforma Volcano Engine durante más de 10 meses, con evaluaciones cuantitativas y estudios de caso que demuestran su viabilidad práctica.

4. Resultados y Evaluación

El sistema se desplegó en producción desde marzo de 2025. Para enero de 2026, Vigil había procesado 131,433 sesiones de soporte y generado 136,234 respuestas proactivas.

• Cobertura Extendida: En el 40.5% de las sesiones donde intervino un humano, Vigil continuó proporcionando asistencia valiosa, demostrando que el ciclo de acción extendido es efectivo.
• Identificación de Preguntas: El módulo de identificación mejoró significativamente la precisión y el recall en la detección de preguntas dentro del alcance. Por ejemplo, con el modelo GPT-5-mini, el F1 ponderado mejoró un 203.2% en comparación con la línea base sin el módulo de identificación.
• Precisión de Respuestas: La evaluación de la precisión de las respuestas generadas proactivamente mostró mejoras drásticas gracias al módulo de auto-mejora. Con el modelo Seed-1.6, la precisión aumentó de 0.154 (sin auto-mejora) a 0.591 (sistema completo), lo que significa que más del 50% de las respuestas proactivas son correctas y útiles.
• Deduplicación: Se encontró que un umbral de similitud de 0.7 ofrecía el mejor equilibrio entre evitar redundancias y mantener la utilidad de las respuestas (F1 ponderado de 0.752).

Estudios de Caso:

• Incidentes de Emergencia: Vigil aprendió de un incidente de fallo de host en la primera sesión y proactivamente ofreció la solución temporal (migración manual) a un segundo cliente afectado por el mismo problema antes de que interviniera un humano.
• Mejora Iterativa: En un caso de error de firma de archivo, Vigil inicialmente sugirió una solución general. Tras ser rechazada por un usuario específico (que usaba una SDK con un bug conocido), el sistema revisó el contexto, actualizó su conocimiento para incluir la excepción de la SDK y refinó su respuesta futura.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la automatización del soporte técnico:

• Colaboración Humano-AI: En lugar de competir o reemplazar a los analistas, Vigil actúa como un "copiloto" que reduce la carga cognitiva y operativa, permitiendo a los humanos centrarse en problemas complejos.
• Adaptabilidad Dinámica: La capacidad de aprender de las resoluciones en tiempo real soluciona el problema de la obsolescencia del conocimiento en entornos de nube de rápida evolución.
• Viabilidad Industrial: Demuestra que los agentes proactivos pueden desplegarse con éxito en entornos de producción sensibles, manejando grandes volúmenes de datos y manteniendo altos estándares de precisión y seguridad.

El código fuente del proyecto está disponible públicamente, facilitando la replicación y el avance en el campo de los sistemas de soporte automatizado.