Context-Aware Detection and Victim-Centered Response Generation for Online Harassment in Private Messaging

Resumo Técnico: Detecção Consciente do Contexto e Geração de Respostas Centradas na Vítima para Assédio Online em Mensagens Privadas

Declaração do Problema
O assédio online é uma preocupação significativa de saúde pública, particularmente para adolescentes, no entanto, os esforços computacionais de detecção e intervenção concentraram-se predominantemente em conteúdo visível publicamente em redes sociais. Ambientes de mensagens privadas (por exemplo, Mensagens Diretas do Instagram) apresentam desafios únicos: interações prejudiciais frequentemente se desenrolam por meio de trocas dependentes do contexto e de múltiplas voltas, onde o significado depende do histórico conversacional, da ironia e das dinâmicas relacionais, e não de textos isolados. Além disso, as intervenções existentes são em grande parte reativas (por exemplo, denúncia, bloqueio) ou focadas no agressor (por exemplo, contra-discurso), frequentemente falhando em fornecer assistência oportuna e emocionalmente solidária às vítimas durante o evento de assédio. Há uma lacuna crítica de conjuntos de dados e métodos escaláveis para detectar assédio em contextos privados, bem como uma lacuna na geração de respostas centradas na vítima impulsionada por IA.

Metodologia
O estudo utilizou um conjunto de dados de 80.053 mensagens diretas do Instagram doadas por 26 adolescentes (com idades entre 12 e 18 anos), incluindo jovens com fatores de risco de suicídio. A pesquisa abordou duas perguntas de pesquisa principais (RQs) usando Modelos de Linguagem de Grande Escala (LLMs).

1. Detecção (RQ1): Classificação em Cascata Consciente do Contexto

• Anotação de Dados: Anotadores humanos rotularam 7.525 mensagens (após filtragem) para assédio online. Para garantir a consciência do contexto, os anotadores revisaram a mensagem-alvo juntamente com as 10 mensagens anteriores. Um sistema de dois anotadores com um terceiro adjudicador resolveu discordâncias, resultando em um conjunto de dados altamente desbalanceado (41 casos de assédio, 7.484 não assédio).
• Arquitetura do Pipeline: Os autores desenvolveram um pipeline de LLM em cascata de dois estágios usando o modelo meta-llama/Llama-4-Scout-17B-16E-Instruct.
  • Estágio 1 (LLM 1): Recebeu a mensagem-alvo e as 50 mensagens anteriores como contexto. Foi instruído a classificar a mensagem e fornecer uma explicação de raciocínio.
  • Estágio 2 (LLM 2): Recebeu a saída do LLM 1 (rótulo + raciocínio) juntamente com o contexto da conversa. Este estágio atuou como um filtro conservador para reduzir falsos positivos, reavaliando especificamente os casos sinalizados como assédio pelo primeiro estágio.
• Baselines: O pipeline foi comparado a um classificador de toxicidade pré-treinado (toxic-bert) e a um framework de aprendizado de conjunto supervisionado treinado em dados de redes sociais públicas.

2. Geração de Resposta (RQ2): Framework Centrado na Vítima

• Arquitetura do Pipeline: Um pipeline de geração de dois estágios usando o mesmo modelo LLM.
  • Estágio 1 (Seleção de Estratégia): Analisou o contexto da conversa para selecionar estratégias de resposta baseadas em evidências (por exemplo, desescalada, empatia, persuasão moral, advertência) e gerou uma justificativa.
  • Estágio 2 (Realização Linguística): Gerou as mensagens de resposta reais condicionadas às estratégias selecionadas e ao contexto original.
• Restrições: Para garantir a validade ecológica, o modelo foi restrito a gerar respostas que se assemelhassem a estilos de comunicação adolescente (por exemplo, textese, gramática informal) com restrições específicas de comprimento (3–13 palavras por mensagem, 1–2 mensagens consecutivas). O sistema foi explicitamente instruído a evitar retaliação e priorizar a desescalada.
• Avaliação: Uma avaliação humana cega foi conduzida em 100 casos de assédio. Três avaliadores compararam as respostas geradas por IA com as respostas originais dos participantes em seis dimensões: eficácia em interromper o assédio, desescalada, posicionamento da vítima, suporte emocional, naturalidade e preferência por ignorar versus responder.

Principais Resultados

• Desempenho de Detecção: O pipeline de LLM em cascata alcançou uma precisão geral de 0,98 e um macro F1-score de 0,63. Crucialmente, para a classe de assédio, alcançou um recall de 0,60 e um F1-score de 0,28. Isso superou significativamente ambas as baselines: toxic-bert (F1 Positivo: 0,14) e o conjunto (F1 Positivo: 0,23). Os resultados indicam que LLMs conscientes do contexto são mais adequados para assédio em mensagens privadas do que modelos treinados em postagens públicas isoladas.
• Avaliação de Resposta: Os avaliadores humanos perceberam as respostas geradas por IA como significativamente mais úteis do que as respostas originais dos participantes (IC 95%: 0,767–0,815, p < .001). As respostas de IA foram preferidas em 80,2% dos casos para suporte emocional, desescalada e utilidade prática. No entanto, os avaliadores classificaram as respostas originais dos participantes como mais "naturais" em termos de estilo conversacional (IC 95%: 0,035–0,089, p < .001).
• Análise de Erros: O pipeline perdeu algum assédio indireto ou implícito (falsos negativos) devido à natureza conservadora da filtragem do segundo estágio, que priorizou a redução de falsos positivos.

Significado e Alegações
O artigo alega que sistemas de IA conscientes do contexto e centrados na vítima têm potencial significativo para fornecer suporte "just-in-time" em ambientes de mensagens privadas.

• Detecção: O estudo demonstra que alavancar o contexto conversacional por meio de pipelines de LLM em cascata é essencial para detectar assédio em espaços privados, superando classificadores de toxicidade tradicionais que falham em capturar dinâmicas relacionais e padrões de escalada.
• Intervenção: A pesquisa introduz o conceito de "amortecimento sintético", onde respostas geradas por IA absorvem o fardo emocional e cognitivo de responder ao assédio. Ao oferecer rascunhos informados por estratégia e desescaladores, esses sistemas podem empoderar as vítimas sem exigir que elas formulem respostas reguladas enquanto estão em sofrimento.
• Limitações: Os autores observam modestamente que, embora as respostas de IA sejam percebidas como mais úteis, elas atualmente carecem da naturalidade linguística das respostas humanas. Eles enfatizam que esses sistemas não devem substituir o suporte humano ou intervenção profissional e requerem salvaguardas contra mau uso ou escalada não intencional. As descobertas baseiam-se em um conjunto de dados específico e de pequena escala de adolescentes, necessitando de trabalho futuro em populações maiores e mais diversas e avaliação de resultados no mundo real.