Detection of Hate and Threat in Digital Forensics: A Case-Driven Multimodal Approach

Resumen Técnico: Detección de Odio y Amenazas en Informática Forense

1. Planteamiento del Problema

Las investigaciones de informática forense dependen cada vez más de evidencia heterogénea (imágenes, documentos escaneados, informes contextuales) que pueden contener expresiones de odio, amenazas o violencia. Sin embargo, los enfoques automatizados existentes presentan limitaciones críticas en este dominio:

• Suposiciones incorrectas: A menudo asumen entradas de texto limpias y estructuradas, ignorando que en la forense el texto puede estar incrustado en imágenes (requiriendo OCR ruidoso), ser texto contextual asociado a informes, o estar completamente ausente.
• Falta de justificación forense: Los modelos de visión y lenguaje se aplican a menudo sin justificación sobre la disponibilidad de la evidencia, lo que genera inferencias no soportadas.
• Interpretabilidad: Los métodos de fusión "end-to-end" (de extremo a extremo) carecen de trazabilidad, lo cual es inaceptable en entornos legales donde la cadena de custodia y la explicabilidad de la decisión son vitales.

El objetivo es desarrollar un marco que realice análisis semántico de odio y amenazas adaptándose a la disponibilidad real de la evidencia, manteniendo la integridad forense.

2. Metodología Propuesta

El autor propone un pipeline de análisis multimodal basado en casos que no aplica modelos de aprendizaje automático de manera ciega, sino que primero determina la configuración de la evidencia.

A. Definición de Escenarios Forenses (Casos)
El sistema clasifica la evidencia en tres casos principales basados en la disponibilidad de texto:

1. Caso 1 (Imagen con Texto Incrustado): La imagen contiene texto visual (capturas, documentos). Se extrae mediante OCR ($T_{ocr}$), reconociendo que este texto es ruidoso e incompleto.
2. Caso 2 (Imagen con Texto Asociado): La imagen se acompaña de texto contextual humano (informes, metadatos, transcripciones) vinculado determinísticamente por ID de medios y ventanas temporales ($T_{assoc}$). Este texto se considera de mayor confianza.
3. Caso 3 (Solo Imagen): No hay texto disponible. El análisis se basa exclusivamente en el contenido visual.

B. Situaciones de Datos Derivadas (DS)
Basado en los casos anteriores, el sistema deriva cuatro situaciones de datos que determinan la ruta de análisis:

• DS1: Texto incrustado + Texto asociado presentes.
• DS2: Solo texto incrustado presente.
• DS3: Solo texto asociado presente.
• DS4: Sin texto disponible (Solo imagen).

C. Espacio de Etiquetas Congelado (Frozen Label Space)
Para garantizar la consistencia semántica, el sistema utiliza un conjunto fijo de categorías forenses (ej. "Amenaza de violencia", "Acoso", "Contenido de odio", "Neutral").

• Análisis de Imagen: Se utiliza un modelo de visión-lenguaje preentrenado (CLIP con backbone ViT-L/14) para generar puntuaciones de similitud entre la imagen y los prompts de texto de las etiquetas.
• Análisis de Texto: Se utiliza un modelo de clasificación zero-shot (DeBERTa-v3-large) para evaluar tanto el texto OCR como el texto asociado contra el mismo espacio de etiquetas.

D. Fusión a Nivel de Puntuación
En lugar de fusionar características a nivel de datos, el sistema combina las puntuaciones de confianza de cada modalidad mediante una suma ponderada explícita:
$$s_{fused} = \frac{\sum w_m s^{(m)}}{\sum w_m}$$

• Pesos: Se asignan pesos fijos basados en la fiabilidad forense: $w_{img}=1.0$, $w_{ocr}=1.0$, y $w_{assoc}=1.2$ (el texto asociado tiene mayor peso por ser más fiable que el OCR).
• Manejo de Ausencia: Si una modalidad falta, se excluye del cálculo sin penalizar el resultado, evitando inferencias injustificadas.

3. Contribuciones Clave

1. Marco Basado en Casos: Distingue explícitamente entre texto incrustado, texto asociado y evidencia solo visual antes del análisis semántico.
2. Estrategia de Enrutamiento y Fusión Consciente de la Modalidad: Prioriza la fiabilidad forense sobre la fusión aprendida de extremo a extremo, utilizando un espacio de etiquetas congelado para asegurar consistencia.
3. Evaluación Experimental: Demuestra un rendimiento consistente y predecible en configuraciones de evidencia heterogénea sin necesidad de reentrenamiento específico para la tarea (zero-shot).
4. Trazabilidad y Auditabilidad: Mantiene las puntuaciones individuales por modalidad junto con la puntuación fusionada, permitiendo a los investigadores forenses auditar la fuente de la decisión.

4. Resultados Experimentales

El sistema fue evaluado en un conjunto de datos forense simulado con anotación manual.

• Precisión General: El pipeline mostró un alto rendimiento en todas las situaciones de datos:
  • DS1 (Texto incrustado + asociado): 95.45% de precisión.
  • DS2 (Solo texto incrustado/OCR): 94.29% de precisión.
  • DS3 (Solo texto asociado): 98.50% de precisión (el mejor rendimiento, validando la alta fiabilidad del texto contextual).
  • DS4 (Solo imagen): 96.36% de precisión.
• Impacto de la Fusión Multimodal:
  • La fusión modificó las decisiones iniciales (basadas solo en imagen) en un 22.73% de los casos con texto completo (DS1) y hasta un 34.29% en casos con solo texto incrustado (DS2).
  • Esto demuestra que el texto corrige o refina significativamente las ambigüedades visuales.
  • En situaciones sin texto (DS4), el sistema degradó su comportamiento de manera elegante a la inferencia visual sin introducir inestabilidad.

5. Significado e Implicaciones

Este trabajo es significativo para la informática forense por varias razones:

• Adaptabilidad Legal: Al condicionar la inferencia en la disponibilidad real de la evidencia, el sistema evita suposiciones no soportadas, cumpliendo con los estándares de defensa forense.
• Interpretabilidad: La separación de puntuaciones por modalidad permite a los analistas humanos entender por qué se tomó una decisión (ej. si la decisión se basó en el OCR ruidoso o en un informe claro).
• Robustez Operativa: El enfoque zero-shot permite que el sistema se adapte a nuevas categorías de amenazas sin reentrenamiento, crucial en un entorno donde las tácticas de ciberacoso evolucionan rápidamente.
• Herramienta de Triage: Se posiciona como una herramienta de soporte a la decisión y triaje estructurado, no como un reemplazo del juicio humano, facilitando la revisión posterior y la justificación transparente de los hallazgos.

En conclusión, el artículo propone un paradigma donde el diseño del sistema de IA respeta la naturaleza fragmentada y heterogénea de la evidencia forense, priorizando la trazabilidad y la lógica de decisión auditable sobre la complejidad del modelo.