💻 computer science

Detection of Hate and Threat in Digital Forensics: A Case-Driven Multimodal Approach

Cet article présente une approche multimodale pilotée par des cas pour la détection de discours haineux et de menaces en informatique légale, qui adapte dynamiquement l'analyse (texte, fusion multimodale ou raisonnement visuel) en fonction de la configuration spécifique des preuves numériques afin d'assurer une traçabilité et une interprétabilité accrues.

Auteurs originaux : Ponkoj Chandra Shill

Publié 2026-04-13

📖 5 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Ponkoj Chandra Shill

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Détective Numérique : Une Enquête Intelligente

Imaginez que vous êtes un détective privé chargé d'analyser des preuves numériques pour trouver des menaces, de la haine ou de la violence. Dans le monde réel, les preuves sont souvent un vrai fouillis : des photos floues, des captures d'écran avec du texte écrit dessus, des rapports écrits à la main, ou parfois juste une photo sans aucun mot.

Le problème, c'est que la plupart des "assistants numériques" (les logiciels d'IA) actuels sont comme des stagiaires très rigides : ils s'attendent à ce que vous leur donniez un texte parfait et propre, ou une image claire. Si vous leur donnez une photo avec du texte illisible ou un rapport mal écrit, ils paniquent ou donnent une réponse fausse.

C'est là que l'auteur de ce papier, Ponkoj Chandra Shill, propose une nouvelle méthode : une approche "guidée par le cas".

🧩 L'Analogie du Tri de Preuves

Au lieu de lancer un seul et même logiciel sur tout, ce nouveau système agit comme un chef d'orchestre très prudent. Avant même de demander à l'ordinateur de "lire" ou de "regarder", il pose une question simple : "Qu'est-ce que j'ai exactement dans les mains ?"

Le système classe chaque preuve en quatre situations possibles (comme quatre types de dossiers différents) :

Le Cas 1 : La Photo avec du Texte Caché.
- Analogie : C'est comme une affiche de rue où quelqu'un a écrit un message au marqueur sur le mur.
- Action : Le système utilise un outil spécial (l'OCR) pour essayer de "lire" l'écriture sur la photo. Mais attention, si la photo est floue, le texte sera illisible (comme essayer de lire une signature griffonnée). Le système sait que ce texte est "bruyant" et le traite avec prudence.
Le Cas 2 : La Photo avec un Rapport à Côté.
- Analogie : C'est une photo de crime trouvée dans un dossier, accompagnée d'une note écrite par un policier expliquant ce qui s'est passé.
- Action : Ici, le texte est clair et écrit par un humain. Le système fait beaucoup plus confiance à cette note qu'au texte illisible de la photo. Il combine la photo et la note pour comprendre le contexte.
Le Cas 3 : Juste la Photo.
- Analogie : Une photo trouvée seule dans un tiroir, sans aucune note, sans aucun texte dessus.
- Action : Le système ne devine pas. Il regarde uniquement ce qu'il voit (une arme, un poing levé, un symbole) et dit : "Je ne vois que ça, donc je ne peux pas inventer le reste." C'est une approche très conservatrice et sûre.
Le Cas 4 : Tout est là (Photo + Texte sur l'image + Note).
- Action : Le système combine tout ce qu'il a, en donnant plus de poids aux notes claires qu'au texte illisible sur la photo.

⚖️ La Balance de la Confiance

Une fois que le système a analysé chaque pièce séparément (la photo d'un côté, le texte de l'autre), il doit prendre une décision finale. Comment fait-il ?

Imaginez une balance à poids :

Si vous avez une photo, elle pèse 1 kg.
Si vous avez un texte écrit par un humain (rapport), il pèse 1,2 kg (car c'est plus fiable).
Si vous avez un texte extrait d'une photo (OCR), il pèse 1 kg mais avec un risque d'erreur (comme si le poids était un peu instable).

Le système additionne ces poids pour obtenir une "note de confiance". S'il n'y a pas de texte, il ne force pas la balance avec des poids imaginaires. Il se base uniquement sur ce qui est réel.

🎯 Pourquoi c'est génial ?

Pas de "Devinettes" : Contrairement aux autres IA qui essaient de deviner le contexte même quand il n'y a rien, ce système dit : "Je ne sais pas" si les preuves manquent. C'est crucial pour la justice, car on ne peut pas accuser quelqu'un sur une hypothèse.
Transparence : Si le système dit "C'est une menace", vous pouvez voir exactement pourquoi : "Parce que la photo montre un couteau (confiance 80%) ET que le rapport dit 'il a menacé' (confiance 90%)". Vous voyez tout le travail du détective.
Adaptabilité : Que vous lui donniez une photo floue d'un tweet ou un rapport policier propre, le système s'adapte. Il ne s'effondre pas.

🏁 En Résumé

Ce papier propose de transformer l'IA d'un "lecteur automatique rigide" en un détective flexible et honnête. Au lieu de tout mélanger, il examine d'abord la nature de la preuve, choisit la bonne méthode d'analyse pour chaque situation, et combine les résultats de manière transparente.

C'est comme passer d'un robot qui lit un livre à l'envers pour tout le monde, à un expert humain qui sait quand il faut utiliser une loupe, quand il faut lire une note, et quand il faut simplement regarder une image sans inventer d'histoire. C'est plus sûr, plus juste, et parfaitement adapté aux enquêtes numériques réelles.

1. Problématique et Contexte

Les enquêtes de criminalistique numérique reposent de plus en plus sur des preuves hétérogènes (images, documents numérisés, rapports contextuels). Ces artefacts peuvent contenir des expressions explicites ou implicites de haine, de menaces ou de violence. Cependant, les approches automatisées existantes présentent plusieurs limites dans ce contexte :

Hypothèses irréalistes : Elles supposent souvent un texte d'entrée propre et structuré, ce qui n'est pas le cas des preuves forensiques (texte bruité issu de l'OCR, absence totale de texte, ou texte contextuel externe).
Manque de justifications : L'application de modèles de vision pure ou de fusion aveugle sans considération de la disponibilité des preuves compromet la défensibilité juridique.
Interprétabilité : Les modèles de fusion « end-to-end » manquent de transparence, rendant difficile la traçabilité des décisions pour les experts judiciaires.

L'objectif est donc de développer un pipeline d'analyse multimodale qui respecte les contraintes forensiques : traçabilité, robustesse face aux données manquantes et absence de biais d'hypothèse sur la disponibilité des modalités.

2. Méthodologie : Une Approche Pilotée par les Cas

L'auteur propose un cadre d'analyse piloté par les cas (case-driven) qui détermine d'abord la configuration des preuves avant d'appliquer l'analyse sémantique.

A. Définition des Scénarios de Preuve (Cases)

Le système classe chaque élément de preuve en trois catégories principales selon la disponibilité du texte :

Cas 1 (Image avec texte intégré) : Le texte est extrait de l'image via l'OCR (souvent bruité).
Cas 2 (Image avec texte associé) : Le texte provient de rapports forensiques, de métadonnées ou de transcriptions de chat (texte propre et contextuel).
Cas 3 (Preuve image uniquement) : Aucune information textuelle n'est disponible.

B. Situations de Données Dérivées (DS)

Sur la base des cas ci-dessus, le système route l'analyse vers l'une des quatre situations de données (DS1 à DS4) :

DS1 : Texte OCR + Texte associé présents.
DS2 : Texte OCR uniquement.
DS3 : Texte associé uniquement.
DS4 : Aucune donnée textuelle (Analyse image seule).

C. Architecture Technique et Modèles

Le framework utilise des modèles pré-entraînés en mode zero-shot (sans réentraînement spécifique) pour garantir l'adaptabilité :

Analyse d'image : Utilisation d'un modèle Vision-Language (CLIP avec backbone ViT-L/14) pour comparer l'image à des prompts textuels.
Analyse de texte : Utilisation d'un classificateur zero-shot (DeBERTa-v3-large) pour le texte OCR et le texte associé.
Espace d'étiquettes figé (Frozen Label Space) : Toutes les modalités projettent leurs résultats sur un ensemble fixe de catégories sémantiques forensiques (ex: Menace de violence, Harcèlement, Contenu lié aux armes, Neutralité, etc.). Cela assure la cohérence sémantique entre les modalités.

D. Fusion de Scores et Logique de Décision

Au lieu d'une fusion apprise (learned fusion), le système utilise une fusion de scores pondérée explicite :

Les scores de confiance de chaque modalité sont agrégés selon une formule pondérée.
Pondération : Le texte associé ( $w=1.2$ ) est considéré comme plus fiable que le texte OCR ( $w=1.0$ ) ou l'image ( $w=1.0$ ).
Gestion des données manquantes : Si une modalité est absente, elle est simplement exclue du calcul sans pénalité, évitant ainsi les biais.
Décision finale : La catégorie avec le score fusionné le plus élevé est sélectionnée.

3. Contributions Clés

Framework Forensique Piloté par les Cas : Distinction explicite entre texte intégré (OCR), texte contextuel associé et preuve image pure avant l'analyse.
Stratégie de Routage et de Fusion Transparente : Une logique de décision auditable qui conditionne l'inférence à la disponibilité réelle des preuves, plutôt qu'à une structure d'entrée fixe.
Évaluation sans Réentraînement : Démonstration de performances cohérentes sur des configurations hétérogènes de preuves forensiques en utilisant des modèles zero-shot, éliminant le besoin de jeux de données d'entraînement étiquetés spécifiques.

4. Résultats Expérimentaux

L'évaluation a été réalisée sur des preuves de style forensique avec une annotation manuelle comme vérité terrain.

Précision Globale : Le pipeline a atteint des taux de précision élevés et cohérents across toutes les situations de données :
- DS1 (Texte OCR + Associé) : 95,45 % de précision.
- DS2 (Texte OCR uniquement) : 94,29 % de précision.
- DS3 (Texte associé uniquement) : 98,50 % de précision (performance quasi-parfaite, validant la haute fiabilité du texte contextuel).
- DS4 (Image uniquement) : 96,36 % de précision.
Impact de la Fusion Multimodale :
- La fusion a modifié les décisions initiales (basées uniquement sur l'image) dans 22,73 % à 34,29 % des cas où du texte était disponible.
- Le texte OCR a souvent corrigé des prédictions ambiguës de l'image (taux de changement le plus élevé : 34,29 % en DS2).
- Le système dégrade gracieusement (graceful degradation) vers l'analyse image seule lorsque le texte manque, sans introduire d'instabilité.

5. Signification et Implications

Ce travail est significatif pour la criminalistique numérique car il :

Aligne l'IA sur la pratique forensique : En refusant de faire des hypothèses sur la disponibilité des données, le système respecte les principes de traçabilité et de défense juridique.
Améliore l'interprétabilité : En conservant les scores par modalité et en utilisant une fusion pondérée explicite, les enquêteurs peuvent comprendre pourquoi une décision a été prise (ex: est-ce dû au texte OCR ou à l'image ?).
Offre une solution robuste : Le système fonctionne efficacement même avec des données bruitées (OCR) ou partielles, ce qui est la norme dans les enquêtes réelles.

En conclusion, l'auteur propose non pas un simple classificateur, mais un outil d'aide à la décision structuré qui intègre les contraintes légales et procédurales de l'analyse forensique, tout en tirant parti des avancées récentes des modèles de langage et de vision. Le code source est disponible en open-source.