Resumo Técnico: StagePilot

Declaração do Problema

O cybergrooming representa uma ameaça crítica e em evolução para os jovens, onde predadores exploram plataformas digitais para manipular menores, construir confiança e coagi-los à exploração sexual. Embora as pesquisas existentes tenham se concentrado na detecção de chats maliciosos após o dano ocorrer ou na análise de traços das vítimas, há uma lacuna significativa em ferramentas de prevenção proativas e centradas na vítima. Os treinamentos baseados em simulação atuais carecem de interações estratégicas e realistas entre predador e vítima que reflitam a progressão não linear e por estágios do grooming. Além disso, envolver diretamente participantes humanos (menores) em tais simulações levanta sérias preocupações éticas, necessitando de uma alternativa segura, controlada e reproduzível para treinamento educacional.

Metodologia

Os autores propõem o StagePilot, um agente de Aprendizado por Reforço Profundo (DRL) offline projetado para simular conversas de cybergrooming controladas por estágios. Diferente dos sistemas de diálogo tradicionais que geram texto turno a turno, o StagePilot reformula o problema como uma tarefa de planejamento sobre estágios de interação abstratos.

Estrutura Central

1. Formulação Controlada por Estágios: O sistema adota a tipologia de seis estágios de O'Connell para o cybergrooming (Formação de Amizade, Formação de Relacionamento, Avaliação de Risco, Exclusividade, Solicitação Sexual e Conclusão). O agente aprende uma política para selecionar o próximo estágio em vez de gerar enunciados brutos.
2. Arquitetura Híbrida:
   • Agente de RL: Opera como um planejador de nível de estágio. Ele observa o contexto conversacional (últimos quatro enunciados e o estágio anterior) e seleciona a ação do próximo estágio.
   • Ambiente de LLM: Modelos de Linguagem de Grande Escala (especificamente o Mistral 7B Instruct v0.2) atuam como a dinâmica do ambiente. Eles geram as respostas textuais reais tanto para o "predador" quanto para a "vítima", condicionadas ao estágio selecionado pelo agente de RL.
3. Aprendizado Offline: Devido à impossibilidade ética de RL online com menores, o agente é treinado offline no conjunto de dados Perverted-Justice (PJ). O conjunto de dados consiste em registros de chat entre predadores e iscas, anotados com os seis estágios de grooming usando um ensemble de LLMs (GPT-4o e Claude 3.5 Sonnet).
4. Restrições e Recompensas:
   • Restrições de Transição: Para garantir a plausibilidade comportamental, o espaço de ação é mascarado para permitir apenas transições para estágios adjacentes (ex: Estágio 2 $\to$ 1, 2 ou 3), evitando saltos irreais.
   • Recompensa Composta: A função de recompensa equilibra dois objetivos:
     • Recompensa de Sentimento ($r_{sent}$): Derivada de um classificador baseado em RoBERTa, medindo a positividade da resposta da vítima para manter o engajamento.
     • Recompensa de Distância ($r_{dist}$): Uma função linear que incentiva a progressão em direção ao estágio final (Estágio 6).
     • Recompensa Total: $R_t = \alpha \cdot r_{sent} + \beta \cdot r_{dist}$.

Algoritmos Avaliados

O estudo compara vários métodos de aprendizado de política sob restrições uniformes:

• Engenharia de Prompt: Prompt engineering zero-shot sem ajuste fino (fine-tuning).
• Clonagem de Comportamento (BC): Aprendizado supervisionado que imita transições de estágio observadas.
• Q-Learning Conservador (CQL): RL offline que penaliza ações fora da distribuição (out-of-distribution).
• IQL + AWAC (Implicit Q-Learning + Advantage-Weighted Actor-Critic): Uma abordagem híbrida que combina estimativa conservadora de valor com atualizações de política sensíveis à recompensa.

Principais Contribuições

1. Formulação de Diálogo Controlada por Estágios: O artigo introduz um framework de RL offline onde o fluxo do diálogo é controlado via estágios de interação abstratos em vez de geração direta de texto, permitendo um planejamento interpretável de longo horizonte.
2. Restrições de Transição Baseadas em Comportamento: A implementação de mascaramento de estágios adjacentes garante que as progressões de estágio sejam flexíveis, porém comportamentalmente plausíveis, espelhando a dinâmica real do grooming enquanto evita saltos abruptos e irreais.
3. Recompensa Composta Sensível à Emoção: Um design de recompensa inovador integra sinais de sentimento da vítima com metas de distância de estágio, permitindo que o agente equilibre o engajamento emocional com a progressão estratégica.
4. Estrutura de Avaliação Abrangente: Os autores estabelecem uma avaliação controlada cobrindo alcançabilidade de estágio, dinâmica de transição, alinhamento de sentimento e eficiência de diálogo, comparando baselines de zero-shot, supervisionados e RL offline.
5. Validação Empírica: O estudo demonstra que o framework proposto unifica efetivamente coerência emocional com planejamento estratégico, alcançando um desempenho superior em atingir os estágios finais de grooming em comparação aos baselines.

Resultados Experimentais

O sistema foi avaliado através de 100 diálogos simulados por modelo, comparando o desempenho em progressão de estágio, alinhamento de sentimento e eficiência.

• Superioridade de Desempenho: O agente IQL+AWAC alcançou o melhor equilíbrio entre planejamento estratégico e coerência emocional. Ele atingiu o Estágio 6 em 95% das simulações e completou terminações bem-sucedidas (5+ turnos no Estágio 6) em 91% dos casos.
• Comparação com Baselines:
  • A Engenharia de Prompt teve um desempenho ruim, atingindo o Estágio 6 em apenas 14% dos casos, frequentemente entrando em loops nos estágios iniciais.
  • A Clonagem de Comportamento (BC) atingiu o Estágio 6 em 52% dos casos, mas teve dificuldades com o planejamento de longo horizonte, resultando em trajetórias ineficientes (média de 130,8 turnos para execuções bem-sucedidas).
  • O CQL melhorou em relação ao BC (83% de alcance no Estágio 6), mas mostrou um trade-off com o sentimento, gerando mais respostas negativas da vítima.
• Eficiência: O IQL+AWAC gerou as conversas bem-sucedidas mais curtas (média de 64,89 turnos) enquanto mantinha mais de 70% de alinhamento de sentimento (positivo ou neutro), demonstrando um planejamento eficiente e direcionado a objetivos.
• Dinâmica de Transição: Métodos baseados em RL exibiram taxas de transição progressiva mais altas e menor estagnação em comparação aos baselines. O IQL+AWAC especificamente mostrou uma capacidade estratégica de navegar pelos estágios posteriores (5 e 6) enquanto minimizava o tempo nos estágios iniciais de construção de rapport quando necessário para a conclusão do objetivo.
• Estudos de Ablação: A pesquisa destacou um trade-off crítico entre sentimento e progressão. Sobreponderar as recompensas de sentimento ($\alpha \ge 0,8$) levou a loops repetitivos em estágios iniciais, enquanto os incentivos baseados em distância ($\beta$) impulsionaram a progressão eficiente. A configuração selecionada ($\alpha=0,8, \beta=0,2$ com DistilRoBERTa) ofereceu o melhor equilíbrio pedagógico.

Significância e Alegações

O artigo afirma que o StagePilot fornece uma alternativa mais segura e controlada para a educação preventiva em tempo real ao simular dinâmicas de grooming sem expor menores a danos. Sua significância reside em:

• Salvaguarda Ética: Ao utilizar interações totalmente automatizadas e simuladas (LLMs de predador e vítima), o framework adere aos princípios de IA Responsável, permitindo a exploração de dinâmicas conversacionais antes de quaisquer estudos com humanos no ciclo (human-in-the-loop).
• Utilidade Pedagógica: O sistema gera conversas realistas e coerentes alinhadas às dinâmicas de grooming, oferecendo uma ferramenta para fortalecer o reconhecimento de sinais de alerta (red flags) de grooming e estratégias de resposta entre adolescentes.
• Avanço Metodológico: Demonstra que o DRL offline com abstração de nível de estágio é superior ao aprendizado por imitação e abordagens baseadas em regras para a simulação de diálogos de segurança de longo horizonte.

Os autores declaram explicitamente que o StagePilot não se destina à implantação no mundo real envolvendo crianças e deve ser usado apenas sob rigorosa supervisão ética. Eles enfatizam que a simulação é mais comprimida temporalmente e linear do que os casos típicos do mundo real, servindo como uma ferramenta educacional formativa em vez de uma réplica perfeita de cada interação real. O trabalho conclui que o planejamento de nível de estágio é um mecanismo viável para estruturar interações críticas de segurança, com potenciais extensões para simulações de aconselhamento e jogos de interpretação (role-play) de negociação.