💻 computer science

Bilder ohne Worte: Can AI Identify Political Parties via Unspoken Visual Signatures in the 2025 German Election?

Cet article présente PREF, un modèle vision-langage interprétable qui classifie avec succès l'affiliation partisielle à partir des médias de campagne des élections allemandes de 2025 en verbalisant les indices perceptuels, atteignant une performance comparable aux plongements de type boîte noire tout en quantifiant la mesure dans laquelle l'identité partisane persiste même après la suppression du branding explicite.

Auteurs originaux : Ali Abusaleh, Alexander Mehler, Mevlut Bagci

Publié 2026-08-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ali Abusaleh, Alexander Mehler, Mevlut Bagci

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans l'arène politique moderne, les messages les plus puissants sont souvent ceux qui ne sont jamais prononcés. Bien que les campagnes s'appuient toujours sur des discours politiques et des manifestes écrits, le rythme quotidien de la communication politique s'est déplacé vers des vidéos courtes et des images partagées sur les réseaux sociaux. Ces fragments visuels transportent une richesse d'informations qui dépasse les mots à l'écran. Tout comme la posture, les vêtements et le ton de la voix d'une personne peuvent révéler son humeur ou son milieu social, le style visuel d'une campagne peut signaler son identité. Les chercheurs savent depuis longtemps que les êtres humains peuvent faire des suppositions rapides et étonnamment précises sur les orientations politiques d'une personne en se basant sur de brefs indices visuels. La question est maintenant de savoir si un ordinateur peut faire de même, non pas en lisant le texte, mais en comprenant le langage silencieux de l'image elle-même.

C'est le défi auquel est confrontée une équipe de chercheurs de l'Université Goethe de Francfort, qui a entrepris de voir si l'intelligence artificielle pouvait identifier les partis politiques allemands uniquement en observant les signatures visuelles et sonores de leurs médias de campagne. Ils ne cherchaient pas à deviner les convictions privées des électeurs ou des politiciens individuels. Ils voulaient plutôt savoir si le style coordonné des publications officielles d'un parti — la façon dont ils cadrent une prise de vue, les couleurs qu'ils choisissent, la formalité des vêtements et le ton de la voix — crée une empreinte digitale unique qu'une machine peut reconnaître. Pour tester cela, ils ont rassemblé plus de 15 000 images et vidéos publiées par des politiciens lors des élections fédérales allemandes de 2025. Ces publications provenaient des principaux partis, allant du bloc conservateur aux Verts progressistes en passant par les libéraux de la Free Democratic Party.

Les chercheurs ont construit un système qu'ils appellent PREF, qui signifie un modèle de caractéristiques perceptuelles-verbales (Perceptual-Verbal Feature model). Au lieu de nourrir directement les images brutes dans un programme informatique complexe et opaque qui agit comme une boîte noire, ils ont d'abord demandé à une IA avancée de décrire ce qu'elle voyait et entendait en langage courant. Le système a analysé les vidéos et les images pour générer une liste de détails observables : le nombre de personnes dans le cadre, si le décor était intérieur ou extérieur, si l'interlocuteur portait un costume ou des vêtements décontractés, le ton émotionnel de sa voix, et la présence d'objets spécifiques comme des drapeaux ou des graphiques. Ces descriptions ont ensuite été injectées dans un classificateur transparent, un type de programme informatique qui prend des décisions basées sur des règles claires et compréhensibles, afin de déterminer quel parti avait publié le contenu.

Les résultats ont été frappants. Le système a correctement identifié le parti politique derrière une publication près de 85 % du temps. Ce niveau de précision égalait la performance de systèmes « boîte noire » beaucoup plus complexes qui reposent sur des modèles mathématiques cachés plutôt que sur des descriptions lisibles par l'homme. Plus important encore, les chercheurs voulaient savoir à quel point ce succès dépendait de l'image de marque évidente, telle que les logos de partis, les drapeaux ou les couleurs de campagne. Pour le découvrir, ils ont mené un second test où ils ont supprimé tous ces symboles explicites de la description de l'IA, ne laissant que les indices subtils de style et de comportement. Même sans les logos ou les couleurs de campagne spécifiques, le système identifiait toujours le bon parti avec une grande précision, chutant seulement légèrement à environ 84 %. Cela suggère que les partis politiques ont développé des langages visuels non dits distincts. Un parti conservateur pourrait systématiquement utiliser des tenues formelles, des tons sérieux et des cadres de tribune, tandis qu'un parti progressiste pourrait privilégier des vêtements décontractés, des foules diverses et un ton plus mesuré. Ces schémas sont si cohérents qu'ils restent reconnaissables même lorsque les signes évidents d'identité sont retirés.

Pour s'assurer que ces résultats n'étaient pas simplement un artefact de l'ordinateur, les chercheurs ont également demandé à des volontaires humains d'examiner un petit échantillon des mêmes images et vidéos. Les humains ont pu identifier le parti politique en se basant uniquement sur les indices visuels avec un haut degré d'accord, confirmant que les signaux détectés par la machine étaient réels et observables par les humains. L'étude a également montré que les indices visuels et auditifs étaient aussi efficaces, sinon légèrement plus, que les légendes textuelles qui accompagnent habituellement ces publications. Cela indique que la stratégie visuelle d'une campagne possède son propre poids considérable dans le façonnement de la perception publique.

L'étude conclut que l'identité politique est encodée dans une signature perceptuelle structurée qui peut être décodée sans dépendre du texte. Bien que la technologie utilisée dans cette recherche soit conçue pour analyser des matériels de campagne publics et officiels, la capacité de détecter automatiquement ces schémas soulève d'importantes questions sur l'avenir de la communication politique. Les chercheurs soulignent que leur travail se concentre sur l'image de marque institutionnelle des partis, et non sur l'idéologie privée des individus, et ils appellent à des garde-fous éthiques stricts pour empêcher que de tels outils ne soient utilisés pour profiler les citoyens privés ou manipuler le message politique. En fin de compte, ce travail démontre que dans l'ère numérique, la manière dont un parti apparaît et résonne est tout aussi importante que les mots qu'il choisit de dire.

Résumé technique : « Bilder ohne Worte : l'IA peut-elle identifier les partis politiques via des signatures visuelles tacites lors des élections allemandes de 2025 ? »

Problématique
La recherche en communication politique computationnelle est historiquement restée centrée sur le texte, malgré le basculement de la communication politique vers les vidéos et les images de format court sur des plateformes comme X (anciennement Twitter). Les approches multimodales existantes reposent souvent sur des plongements (embeddings) de type « boîte noire » (par exemple, CLIP ou les plongements standards des VLM) qui manquent d'interprétabilité et de transparence — des exigences critiques pour l'analyse politique. De plus, ces méthodes basées sur les plongements sont confrontées à l'opacité sémantique, au manque d'interprétabilité et à la « cécité de congruence » (un alignement transmodal insuffisant). Les auteurs posent deux questions centrales : (1) Un échantillonnage interprétable peut-il égaler la performance des plongements de type boîte noire pour classer l'affiliation partisane à partir de médias de campagne ? (2) Dans quelle mesure l'identifiabilité d'un parti persiste-t-elle lorsque le branding explicite (logos, drapeaux, couleurs, texte) est supprimé, ne laissant que des indices esthétiques et comportementaux subtils et coordonnés ?

Méthodologie : Le cadre PREF
Les auteurs introduisent le PREF (Perceptual–Verbal Feature model), un pipeline modulaire conçu pour convertir les médias bruts en schémas de caractéristiques structurés et lisibles par l'humain. Le cadre fonctionne en trois étapes :

Extraction de caractéristiques multimodales : En utilisant le modèle de langage-vision (VLM) Qwen2.5-VL, le système traite les images et les images de vidéos pour générer des descriptions sémantiques structurées. Ces descriptions couvrent trois modalités : la Vision (ce qui est présenté), l'Auditif (ce qui est entendu dans la vidéo) et le Temporel (comment les images s'articulent). La sortie respecte un schéma JSON strict.
Élicitation de caractéristiques hybrides : Pour garantir que la taxonomie des caractéristiques soit à la fois ancrée théoriquement et basée sur les données tout en atténuant le biais du chercheur, les auteurs emploient une stratégie de Consensus Multi-Modèles. Un ensemble de six LLM de pointe (incluant GPT-5, Llama3.2, DeepSeek-R1, Mistral, Phi-4 et GPT-OSS) propose indépendamment des caractéristiques audiovisuelles observables. Les caractéristiques ne sont conservées que si elles atteignent un consensus (suggéré par au moins deux modèles), créant ainsi un schéma objectif.
Classification interprétable : Les caractéristiques perceptuelles-verbales extraites sont injectées dans des classifieurs transparents (Arbres de décision, Forêts aléatoires, Régression logistique, etc.). Les auteurs privilégient les Forêts Aléatoires (Random Forests) pour leur capacité à fournir l'importance des caractéristiques et les chemins de décision, garantissant que le raisonnement du modèle est auditable.

Configuration expérimentale
L'étude utilise le PolTweetCorpus, un ensemble de données de 39 546 tweets collectés durant la campagne des élections fédérales allemandes de 2025 (6 novembre 2024 – 23 février 2025). L'analyse se concentre sur 15 043 éléments médiatiques étiquetés (images et vidéos) publiés par des représentants vérifiés de sept partis politiques majeurs allemands (étiquetés comme Groupes A–G) et une catégorie « Autres ».

Division des données : 80 % pour l'entraînement (12 034 échantillons), 20 % pour le test (3 009 échantillons).
Étude d'ablation (H2) : Une procédure de « dé-branding contrôlé » supprime systématiquement les caractéristiques de branding explicites (Groupe G1 : logos, drapeaux, couleurs de campagne, superpositions de texte) pour tester si le modèle peut toujours classer les partis sur la base de indices subtils uniquement (Groupe G2 : tenue vestimentaire, mise en scène, ton, mouvement).
Validation humaine : Une étude sur un sous-ensemble aléatoire ( $n=140$ ) a impliqué des annotateurs humains étiquetant les mêmes 12 dimensions sémantiques utilisées par PREF pour mesurer l'accord inter-annotateurs (IAA) et l'alignement LLM-Humain.

Résultats clés

Performance vs Baselines : Le cadre PREF, utilisant un classifieur de Forêt Aléatoire sur les caractéristiques perceptuelles-verbales, a atteint une précision de 84,98 % et un AUC de 0,9219. Cette performance égale ou dépasse celle des modèles basés sur le texte et des baselines opaques basées sur les plongements (ex: k-NN, réseaux de neurones sur les plongements bruts), qui ont peiné avec la sensibilité aux classes minoritaires et ont obtenu des AUC inférieures (ex: 0,8267 pour la RF sur les plongements bruts).
Robustesse du dé-branding (H2) : Crucialement, lorsque les caractéristiques de branding explicite (G1) ont été supprimées, la précision du modèle n'a chuté que marginalement à 84,11 % (AUC 0,8977). Cela confirme que les partis politiques possèdent des « signatures » esthétiques et comportementales distinctes et mesurables (G2) qui persistent même sans logos ou texte.
Validation humaine : Les annotateurs humains ont obtenu un accord substantiel sur le schéma PREF (Krippendorff's $\alpha = 0,67$ global ; $\alpha = 0,78$ pour l'identification visuelle des partis). Le VLM (Qwen2.5-VL) a montré un alignement modéré avec les humains ( $\alpha = 0,50$ ), avec un accord élevé sur les dimensions pertinentes pour le parti ( $\alpha = 0,73$ ), confirmant que les indices du modèle sont vérifiables par l'humain et ne sont pas de simples artefacts de la géométrie interne du VLM.
Efficacité du modèle : L'étude a constaté un « effet de saturation » où le modèle Qwen2.5-VL de 3 milliards de paramètres a performé de manière comparable aux variantes plus larges de 32B et 72B, suggérant que les modèles plus petits peuvent extraire efficacement les connaissances pertinentes pour ce domaine spécifique.

Signification et revendications
L'article revendique trois contributions principales :

Parité d'interprétabilité : Il démontre qu'un cadre de caractéristiques verbalisées et interprétables peut égaler le pouvoir prédictif des plongements de type boîte noire dans la classification politique, offrant une voie vers une IA auditable dans des domaines sociopolitiques sensibles.
Décomposition du Branding vs Style : À travers l'ablation du dé-branding, l'étude fournit la première quantification de la part de l'identité partisane qui survit à la suppression des symboles explicites. Elle conclut que l'affiliation partisane est encodée non seulement dans les logos, mais dans un « langage visuel » d'esthétiques coordonnées (tenue, ton, décor) qui est empiriquement détectable.
Élicitation de caractéristiques atténuée par les biais : En utilisant un consensus multi-modèles pour définir le schéma de caractéristiques, les auteurs répondent à la subjectivité du chercheur, créant une taxonomie plus robuste et plus objective pour l'analyse des médias politiques.

Les auteurs présentent explicitement leur travail comme une analyse du branding de campagne institutionnel et des valeurs de production coordonnées, plutôt que comme une inférence de l'idéologie privée des individus. Ils soulignent que les « signatures visuelles tacites » identifiées sont des propriétés de la stratégie de communication elle-même, offrant une méthode pour décoder l'identité politique dans une ère de discours multimodaux et dé-verbalisés.

Articles similaires