Learning Selective LLM Autonomy from Copilot Feedback in Enterprise Customer Support Workflows

A continuación se presenta un resumen técnico detallado del artículo "Aprendizaje de la Autonomía Selectiva de LLM a partir de la Retroalimentación de Copilot en Flujos de Trabajo de Soporte al Cliente Empresarial".

1. Declaración del Problema

El despliegue de agentes de Modelos de Lenguaje Grande (LLM) para la automatización de extremo a extremo en el soporte al cliente empresarial enfrenta obstáculos significativos:

• Propagación de Errores: Pequeños errores en interacciones de UI de múltiples pasos se acumulan a lo largo de horizontes largos, lo que conduce a fallos en el flujo de trabajo.
• Costo y Complejidad: Los bucles de control tradicionales de múltiples pasos son costosos a escala, y los cambios frecuentes en la UI o en los procesos hacen que la Automatización Robótica de Procesos (RPA) frágil o los flujos scriptados manualmente sean difíciles de mantener.
• Seguridad y Confianza: Los agentes totalmente autónomos corren el riesgo de degradar la calidad del soporte o causar errores irreversibles en procesos comerciales sensibles (por ejemplo, cambios de cuenta).
• Escasez de Datos: A diferencia de los puntos de referencia de navegación web, los flujos de trabajo empresariales carecen de grandes conjuntos de datos públicos para el entrenamiento, y la lógica del dominio es altamente especializada.

Los autores proponen un sistema que logra automatización selectiva: automatizar pasos de alta confianza mientras se posponen decisiones inciertas a operadores humanos, equilibrando así la eficiencia con la seguridad.

2. Metodología

El sistema emplea una tubería de despliegue escalonada inspirada en el aprendizaje por imitación (específicamente DAgger), que avanza a través de tres fases para entrenar una política y un crítico.

A. Representación y Serialización de Datos

• Vista Impulsada por Esquema: En lugar de depender del DOM en bruto o de capturas de pantalla (que son frágiles ante cambios en la UI), el sistema extrae una representación JSON impulsada por esquema de la interfaz de Gestión de Procesos de Negocio (BPM).
• Trazas de Estado-Acción: Las sesiones de los operadores se registran como trayectorias $\{s_t, a_t\}$. El estado $s_t$ incluye el historial de chat, el contexto de la UI (perfil del cliente, escenario activo) y anuncios globales. Las acciones $a_t$ se categorizan en cuatro tipos: composición de mensajes, navegación, selección/llenado de formularios y gestión de sesiones.
• Formato de Entrada: Las instantáneas de la UI y las acciones se fusionan en una intercalación cronológica de diálogos que entrelaza mensajes del cliente, acciones del operador y estados de UI actualizados para la entrada del LLM.

B. Tubería de Despliegue Escalonada

1. Fase de Registro:
   • Recopila trazas completas de interacción de los operadores.
   • Entrena un Modelo de Política ($\pi_\theta$) inicial mediante Ajuste Fino Supervisado (SFT) sobre clonación de comportamiento (predecir la siguiente acción dado el estado).
2. Fase de Copilot:
   • Despliega la política para sugerir acciones a los operadores en tiempo real.
   • Bucle de Retroalimentación: Los operadores aceptan la sugerencia o la corrigen.
   • Crítico vs. No Crítico: Las acciones no críticas (por ejemplo, navegación de UI) pueden ejecutarse automáticamente; las acciones críticas (por ejemplo, enviar mensajes, cerrar chats) requieren aprobación humana.
   • Esta fase genera datos etiquetados (aceptar/rechazar) específicamente para pasos críticos.
3. Fase de Automatización Selectiva:
   • Entrena un Modelo Crítico ($c_\phi$) utilizando la retroalimentación de Copilot para estimar la probabilidad de que una acción crítica propuesta sea correcta.
   • Ejecución con Puerta: El sistema ejecuta una acción $\hat{a}$ solo si la puntuación del crítico $c_\phi(s, \hat{a}) \geq \tau$ (donde $\tau$ es un umbral calibrado).
   • Abstención: Si la puntuación está por debajo de $\tau$, el control se transfiere al operador humano, quien reanuda desde el estado de UI actualizado.
   • Calibración: El umbral $\tau$ se ajusta para cumplir con los requisitos de precisión del negocio (por ejemplo, asegurando que el 90% de las acciones automatizadas serían aceptadas por humanos).

C. Seguridad y Adaptabilidad

• Manejo de Fuera de Distribución (OOD): El sistema utiliza reglas de validación diarias para detectar nuevos elementos de la UI. Si se detecta una deriva, la automatización se deshabilita para el segmento afectado, volviendo al modo Copilot para recopilar nueva supervisión.
• Anonimización: Los datos de entrenamiento sufren un enmascaramiento estricto (reemplazo de entidades, distintividad a nivel de sesión) para proteger la información de identificación personal (PII).
• Mejora Continua: Los modelos se reentrenan en ventanas deslizantes de datos recientes, con pares de política-crítico específicos de segmento para diferentes grupos de problemas.

3. Contribuciones Clave

1. Despliegue Escalonado Escalable en Producción: Una tubería novedosa que transita desde el registro hasta Copilot y luego a la automatización selectiva, aprovechando la supervisión que ocurre naturalmente (aceptar/rechazar) en lugar de requerir la autoría manual de reglas.
2. Serialización de Estado Impulsada por Esquema: Alejarse de los agentes basados en visuales/capturas de pantalla hacia una representación JSON estructurada de la interfaz BPM, habilitando un monitoreo robusto y llamadas de herramientas confiables sin procesamiento de imágenes.
3. Autonomía con Puerta Crítica: Un mecanismo que combina una política entrenada con SFT con un crítico entrenado en retroalimentación de trayectorias para gestionar el compromiso entre error y cobertura, permitiendo la ejecución segura en segundo plano de pasos de alta confianza.
4. Marco de Ingeniería: Documentación exhaustiva de salvaguardas (abstención, manejo de deriva de datos, respaldos) y un protocolo de evaluación en línea con estudios de ablación.

4. Resultados Experimentales

El sistema fue evaluado en un entorno de producción en vivo con aproximadamente 15,000 clientes por grupo de prueba A/B.

Resultados Offline

• Necesidad de SFT: La indicación de cero disparos (incluso con modelos grandes como GPT-5 o Gemini 3) logró solo ~47% de precisión en herramientas. El SFT específico del dominio en el modelo Qwen2.5-7B logró 79.15% de precisión en herramientas, demostrando que el ajuste fino especializado es esencial para la lógica empresarial.
• Mezcla de Datos: Mezclar registros históricos con correcciones de rechazo de Copilot mejoró la generalización en casos difíciles.
• Rendimiento del Crítico: Un crítico entrenado con SFT superó a una línea base basada en confianza en +3.84% de Precisión y +3.03% de F1, validando que aprender de la retroalimentación humana explícita es superior a la incertidumbre cruda del modelo.

Resultados Online (Pruebas A/B)

• Eficiencia: En comparación con una línea base solo humana, el sistema de automatización selectiva redujo el Tiempo Promedio del Agente (AAT) en un 39% (de 227s a 139s).
• Calidad: Las puntuaciones de corrección de resolución permanecieron estadísticamente sin cambios en comparación con la línea base, confirmando que no hubo degradación en la calidad del soporte.
• Tasa de Automatización: El sistema automatizó completamente el 45% de las sesiones de extremo a extremo sin intervención humana.
• Comparación con Bots Clásicos: Superó a una línea base de chatbot basado en reglas al reducir el AAT en un 16%.
• Ganancia Incremental: Pasar de "confirmación obligatoria" a "ejecución habilitada por automatización" redujo aún más el AAT en un 25%.

5. Significado y Conclusión

Este artículo demuestra un camino práctico y escalable para desplegar agentes LLM en entornos empresariales de alto riesgo.

• Cambio de Paradigma: Se aleja de la "autonomía total" (que es riesgosa) y de la "RPA estática" (que es frágil) hacia una autonomía incremental y selectiva.
• Humano en el Bucle: El sistema trata a los operadores como "editores de IA", supervisando múltiples sesiones concurrentes e interviniendo solo cuando el sistema está incierto.
• Generalización: El enfoque es aplicable a cualquier flujo de trabajo de interfaz estructurada donde estén disponibles registros de interacción, ofreciendo un modelo para una automatización segura y eficiente en industrias reguladas.

El trabajo destaca que la seguridad se logra no restringiendo las capacidades del modelo, sino controlando su ejecución a través de un crítico aprendido y un proceso de despliegue escalonado que se adapta continuamente a la lógica comercial cambiante.