Context-Aware Detection and Victim-Centered Response Generation for Online Harassment in Private Messaging

Resumen Técnico: Detección Consciente del Contexto y Generación de Respuestas Centradas en la Víctima para el Acoso en Mensajería Privada

Declaración del Problema
El acoso en línea es una preocupación significativa de salud pública, particularmente para los adolescentes, sin embargo, los esfuerzos computacionales de detección e intervención se han centrado predominantemente en el contenido visible públicamente en redes sociales. Los entornos de mensajería privada (por ejemplo, Mensajes Directos de Instagram) presentan desafíos únicos: las interacciones dañinas a menudo se desarrollan a través de intercambios dependientes del contexto y de múltiples turnos, donde el significado depende de la historia conversacional, el sarcasmo y las dinámicas relacionales, en lugar de textos aislados. Además, las intervenciones existentes son en gran medida reactivas (por ejemplo, denunciar, bloquear) o centradas en el acosador (por ejemplo, contra-discurso), a menudo fallando en brindar asistencia oportuna y emocionalmente de apoyo a las víctimas durante el evento de acoso. Existe una falta crítica de conjuntos de datos y métodos escalables para detectar el acoso en contextos privados, así como una brecha en la generación de respuestas centradas en la víctima impulsada por la IA.

Metodología
El estudio utilizó un conjunto de datos de 80.053 mensajes directos de Instagram donados por 26 adolescentes (de 12 a 18 años), incluidos jóvenes con factores de riesgo de suicidio. La investigación abordó dos preguntas de investigación principales (PI) utilizando Modelos de Lenguaje Grandes (LLM).

1. Detección (PI1): Clasificación en Cascada Consciente del Contexto

• Anotación de Datos: Anotadores humanos etiquetaron 7.525 mensajes (tras el filtrado) como acoso en línea. Para garantizar la conciencia del contexto, los anotadores revisaron el mensaje objetivo junto con los 10 mensajes anteriores. Un sistema de dos anotadores con un tercero como árbitro resolvió los desacuerdos, resultando en un conjunto de datos altamente desequilibrado (41 casos de acoso, 7.484 sin acoso).
• Arquitectura del Pipeline: Los autores desarrollaron un pipeline en cascada de dos etapas utilizando LLM con el modelo meta-llama/Llama-4-Scout-17B-16E-Instruct.
  • Etapa 1 (LLM 1): Recibió el mensaje objetivo y los 50 mensajes anteriores como contexto. Se le solicitó que clasificara el mensaje y proporcionara una explicación de razonamiento.
  • Etapa 2 (LLM 2): Recibió la salida del LLM 1 (etiqueta + razonamiento) junto con el contexto de la conversación. Esta etapa actuó como un filtro conservador para reducir los falsos positivos, reevaluando específicamente los casos señalados como acoso por la primera etapa.
• Líneas Base: El pipeline se comparó con un clasificador de toxicidad preentrenado (toxic-bert) y un marco de aprendizaje de conjunto supervisado entrenado con datos de redes sociales públicas.

2. Generación de Respuestas (PI2): Marco Centrado en la Víctima

• Arquitectura del Pipeline: Un pipeline de generación de dos etapas utilizando el mismo modelo LLM.
  • Etapa 1 (Selección de Estrategia): Analizó el contexto de la conversación para seleccionar estrategias de respuesta informadas por evidencia (por ejemplo, desescalada, empatía, persuasión moral, advertencia) y generó una justificación.
  • Etapa 2 (Realización Lingüística): Generó los mensajes de respuesta reales condicionados a las estrategias seleccionadas y al contexto original.
• Restricciones: Para garantizar la validez ecológica, se restringió al modelo para generar respuestas que se asemejaran a los estilos de comunicación adolescente (por ejemplo, lenguaje de texto, gramática informal) con restricciones específicas de longitud (3–13 palabras por mensaje, 1–2 mensajes consecutivos). Se instruyó explícitamente al sistema para evitar la retaliación y priorizar la desescalada.
• Evaluación: Se realizó una evaluación humana a ciegas en 100 casos de acoso. Tres evaluadores compararon las respuestas generadas por IA con las respuestas originales de los participantes en seis dimensiones: efectividad para detener el acoso, desescalada, posicionamiento de la víctima, apoyo emocional, naturalidad y la preferencia por ignorar frente a responder.

Resultados Clave

• Rendimiento de Detección: El pipeline en cascada de LLM logró una precisión general de 0.98 y una puntuación F1 macro de 0.63. Crucialmente, para la clase de acoso, logró una recuperación (recall) de 0.60 y una puntuación F1 de 0.28. Esto superó significativamente a ambas líneas base: toxic-bert (F1 Positivo: 0.14) y el conjunto (F1 Positivo: 0.23). Los resultados indican que los LLM conscientes del contexto son más adecuados para el acoso en mensajería privada que los modelos entrenados en publicaciones públicas aisladas.
• Evaluación de Respuestas: Los evaluadores humanos percibieron las respuestas generadas por IA como significativamente más útiles que las respuestas originales de los participantes (IC del 95%: 0.767–0.815, p < .001). Las respuestas de IA fueron preferidas en el 80.2% de los casos para apoyo emocional, desescalada y utilidad práctica. Sin embargo, los evaluadores calificaron las respuestas originales de los participantes como más "naturales" en términos de estilo conversacional (IC del 95%: 0.035–0.089, p < .001).
• Análisis de Errores: El pipeline pasó por alto algo de acoso indirecto o implícito (falsos negativos) debido a la naturaleza conservadora del filtrado de la segunda etapa, que priorizó la reducción de falsos positivos.

Significado y Afirmaciones
El artículo afirma que los sistemas de IA conscientes del contexto y centrados en la víctima tienen un potencial significativo para brindar apoyo "justo a tiempo" en entornos de mensajería privada.

• Detección: El estudio demuestra que aprovechar el contexto conversacional mediante pipelines de LLM en cascada es esencial para detectar el acoso en espacios privados, superando a los clasificadores de toxicidad tradicionales que no logran capturar las dinámicas relacionales y los patrones de escalada.
• Intervención: La investigación introduce el concepto de "amortiguación sintética", donde las respuestas generadas por IA absorben la carga emocional y cognitiva de responder al acoso. Al ofrecer borradores informados por estrategias y desescaladores, estos sistemas pueden empoderar a las víctimas sin requerir que formulen respuestas reguladas mientras están en estado de angustia.
• Limitaciones: Los autores notan modestamente que, aunque las respuestas de IA se perciben como más útiles, actualmente carecen de la naturalidad lingüística de las respuestas humanas. Enfatizan que estos sistemas no deben reemplazar el apoyo humano o la intervención profesional y requieren salvaguardas contra el mal uso o la escalada no intencionada. Los hallazgos se basan en un conjunto de datos específico y a pequeña escala de adolescentes, lo que hace necesario un trabajo futuro en poblaciones más grandes y diversas y en la evaluación de resultados en el mundo real.