Resumen Técnico: StagePilot

Planteamiento del Problema

El ciberacoso sexual (cybergrooming) representa una amenaza crítica y en constante evolución para la juventud, donde los depredadores explotan las plataformas digitales para manipular a menores, generar confianza y coaccionarlos hacia la explotación sexual. Mientras que la investigación existente se ha centrado en la detección de chats maliciosos después de que ocurre el daño o en el análisis de los rasgos de la víctima, existe una brecha significativa en herramientas de prevención proactivas y centradas en la víctima. Las capacitaciones actuales basadas en simulaciones carecen de interacciones depredador-víctima realistas y estratégicas que reflejen la progresión no lineal y por etapas del grooming. Además, involucrar directamente a participantes humanos (menores) en tales simulaciones plantea graves preocupaciones éticas, lo que requiere una alternativa segura, controlada y reproducible para la formación educativa.

Metodología

Los autores proponen StagePilot, un agente de Aprendizaje por Refuerzo Profundo (DRL) offline diseñado para simular conversaciones de ciberacoso controladas por etapas. A diferencia de los sistemas de diálogo tradicionales que generan texto turno a turno, StagePilot replantea el problema como una tarea de planificación sobre etapas de interacción abstractas.

Marco Central

1. Formulación Controlada por Etapas: El sistema adopta la tipología de seis etapas de O'Connell para el ciberacoso (Formación de Amistad, Formación de Relación, Evaluación de Riesgos, Exclusividad, Solicitud Sexual y Conclusión). El agente aprende una política para seleccionar la siguiente etapa en lugar de generar enunciados brutos.
2. Arquitectura Híbrida:
   • Agente de RL: Opera como un planificador a nivel de etapa. Observa el contexto conversacional (los últimos cuatro enunciados y la etapa anterior) y selecciona la acción de la siguiente etapa.
   • Entorno de LLM: Los Modelos de Lenguaje Extensos (específicamente Mistral 7B Instruct v0.2) actúan como la dinámica del entorno. Generan las respuestas textuales reales tanto para el "depredador" como para la "víctima", condicionadas por la etapa seleccionada por el agente de RL.
3. Aprendizaje Offline: Debido a la imposibilidad ética del RL online con menores, el agente se entrena offline utilizando el conjunto de datos Perverted-Justice (PJ). El conjunto de datos consiste en registros de chat entre depredadores y señuelos, anotados con las seis etapas de grooming mediante un ensamble de LLMs (GPT-4o y Claude 3.5 Sonnet).
4. Restricciones y Recompensas:
   • Restricciones de Transición: Para asegurar la plausibilidad conductual, el espacio de acciones está enmascarado para permitir solo transiciones a etapas adyacentes (por ejemplo, Etapa 2 $\to$ 1, 2 o 3), evitando saltos poco realistas.
   • Recompensa Compuesta: La función de recompensa equilibra dos objetivos:
     • Recompensa de Sentimiento ($r_{sent}$): Derivada de un clasificador basado en RoBERTa, mide la positividad de la respuesta de la víctima para mantener el compromiso.
     • Recompensa de Distancia ($r_{dist}$): Una función lineal que incentiva la progresión hacia la etapa final (Etapa 6).
     • Recompensa Total: $R_t = \alpha \cdot r_{sent} + \beta \cdot r_{dist}$.

Algoritmos Evaluados

El estudio compara varios métodos de aprendizaje de políticas bajo restricciones uniformes:

• Ingeniería de Prompts (Prompt Engineering): Prompting zero-shot sin ajuste fino.
• Clonación de Comportamiento (BC): Aprendizaje supervisado que imita las transiciones de etapas observadas.
• Q-Learning Conservador (CQL): RL offline que penaliza las acciones fuera de la distribución.
• IQL + AWAC (Implicit Q-Learning + Advantage-Weighted Actor-Critic): Un enfoque híbrido que combina la estimación conservadora de valor con actualizaciones de política sensibles a la recompensa.

Contribuciones Clave

1. Formulación de Diálogo Controlada por Etapas: El artículo introduce un marco de RL offline donde el flujo del diálogo se controla mediante etapas de interacción abstractas en lugar de la generación directa de texto, permitiendo una planificación interpretable de largo alcance.
2. Restricciones de Transición Basadas en el Comportamiento: La implementación del enmascaramiento de etapas adyacentes asegura que las progresiones de las etapas sean flexibles pero conductualmente plausibles, reflejando las dinámicas de grooming del mundo real mientras evita saltos abruptos e irreales.
3. Recompensa Compuesta Consciente de las Emociones: Un diseño de recompensa novedoso integra señales de sentimiento de la víctima con metas de distancia de etapa, permitiendo al agente equilibrar el compromiso emocional con la progresión estratégica.
4. Marco de Evaluación Integral: Los autores establecen un marco de evaluación controlado que cubre la alcanzabilidad de etapas, la dinámica de transición, la alineación de sentimientos y la eficiencia del diálogo, comparando baselines de zero-shot, supervisados y de RL offline.
5. Validación Empírica: El estudio demuestra que el marco propuesto unifica eficazmente la coherencia emocional con la planificación estratégica, logrando un rendimiento superior en alcanzar las etapas finales de grooming en comparación con los baselines.

Resultados Experimentales

El sistema fue evaluado mediante 100 diálogos simulados por modelo, comparando el rendimiento en progresión de etapas, alineación de sentimientos y eficiencia.

• Superioridad de Rendimiento: El agente IQL+AWAC logró el mejor equilibrio entre la planificación estratégica y la coherencia emocional. Alcanzó la Etapa 6 en el 95% de las simulaciones y completó terminaciones exitosas (5+ turnos en la Etapa 6) en el 91% de los casos.
• Comparación con Baselines:
  • La Ingeniería de Prompts funcionó deficientemente, alcanzando la Etapa 6 en solo un 14% de los casos, a menudo entrando en bucles en las etapas iniciales.
  • La Clonación de Comportamiento (BC) alcanzó la Etapa 6 en el 52% de los casos, pero tuvo dificultades con la planificación de largo alcance, resultando en trayectorias ineficientes (promedio de 130.8 turnos para ejecuciones exitosas).
  • CQL mejoró respecto a BC (83% de alcance de la Etapa 6) pero mostró un compromiso con el sentimiento, generando más respuestas negativas de la víctima.
• Eficiencia: IQL+AWAC generó las conversaciones exitosas más cortas (promedio de 64.89 turnos) manteniendo más del 70% de alineación de sentimiento (positivo o neutral), demostando una planificación eficiente y dirigida a objetivos.
• Dinámicas de Transición: Los métodos basados en RL exhibieron tasas de transición hacia adelante más altas y menor estancamiento en comparación con los baselines. IQL+AWAC mostró específicamente una capacidad estratégica para navegar las etapas posteriores (5 y 6) minimizando el tiempo en las etapas iniciales de construcción de rapport cuando era necesario para completar el objetivo.
• Estudios de Ablación: La investigación destacó un compromiso crítico entre el sentimiento y la progresión. Sobrepesar las recompensas de sentimiento ($\alpha \ge 0.8$) provocó bucles repetitivos en etapas tempranas, mientras que los incentivos basados en la distancia ($\beta$) impulsaron una progresión eficiente. La configuración seleccionada ($\alpha=0.8, \beta=0.2$ con DistilRoBERTa) ofreció el mejor equilibrio pedagógico.

Significado y Reclamaciones

El artículo afirma que StagePilot proporciona una alternativa más segura y controlada para la educación preventiva en tiempo real al simular dinámicas de grooming sin exponer a menores a daños. Su importancia radica en:

• Salvaguarda Ética: Al utilizar interacciones totalmente automatizadas y simuladas (LLMs de depredador y víctima), el marco se adhiere a los principios de IA Responsable, permitiendo la exploración de dinámicas conversacionales antes de cualquier estudio con humanos.
• Utilidad Pedagógica: El sistema genera conversaciones realistas y coherentes alineadas con las dinámicas de grooming, ofreciendo una herramienta para fortalecer el reconocimiento de las señales de alerta de grooming y las estrategias de respuesta en los adolescentes.
• Avance Metodológico: Demuestra que el DRL offline con abstracción a nivel de etapa es superior al aprendizaje por imitación y a los enfoques basados en reglas para la simulación de diálogos de seguridad crítica de largo alcance.

Los autores declaran explícitamente que StagePilot no está destinado a su despliegue en el mundo real con niños y debe usarse únicamente bajo una estricta supervisión ética. Enfatizan que la simulación está más comprimida temporalmente y es más lineal que los casos típicos del mundo real, sirviendo como una herramienta formativa en lugar de una réplica perfecta de cada interacción real. El trabajo concluye que la planificación a nivel de etapa es un mecanismo viable para estructurar interacciones de seguridad crítica, con posibles extensiones a simulaciones de asesoramiento y juegos de rol de negociación.