The Classics at SemEval-2026 Task 3: Combining Transformer Models and LLM-Generated Annotations for Dimensional Aspect-Based Sentiment Analysis

Imaginez que vous essayez de comprendre ce que les gens ressentent à propos d'un produit, comme un ordinateur portable ou un repas au restaurant. Les programmes informatiques traditionnels sont comme un feu de signalisation : ils ne voient que trois couleurs — Rouge (Négatif), Jaune (Neutre) ou Vert (Positif). Mais les sentiments humains sont rarement aussi simples. Parfois, un avis est « globalement joyeux mais un peu frustré » ou « d'une colère très intense ».

Ce document décrit la tentative d'une équipe pour construire un système plus intelligent pour le SemEval-2026, une grande compétition pour les chercheurs en IA. Leur objectif était d'aller au-delà du simple système du « feu de signalisation » et de mesurer les sentiments sur une échelle continue, comme un variateur de lumière ou un bouton de volume sonore. Ils se sont concentrés sur deux « boutons » spécifiques :

1. La Valence : À quel point le sentiment est positif ou négatif (l'humeur).
2. L'Éveil (Arousal) : À quel point le sentiment est intense ou calme (l'énergie).

Voici comment ils ont abordé les deux principaux défis de la compétition, en utilisant des analogies créatives :

Défi 1 : Le « Thermostat » (Sous-tâche 1)

L'Objectif : Vous donnez à l'ordinateur une partie spécifique d'une phrase (comme « autonomie de la batterie ») et vous lui demandez : « Que ressent l'auteur à ce sujet, et avec quelle force ? ». L'ordinateur doit donner deux nombres (par exemple, 8,5 pour le bonheur, 7,2 pour l'intensité).

La Stratégie de l'Équipe :

• L'Ensemble (Le Jury) : Au lieu de s'appuyer sur un seul modèle d'IA, ils ont construit un « jury » de plusieurs modèles d'IA différents (appelés Transformers). Ils ont laissé chaque modèle voter sur les chiffres, mais ils n'ont pas traité chaque vote de la même manière. Ils ont accordé plus de poids aux modèles qui s'étaient le plus entraînés et qui avaient les meilleures performances. C'est comme demander l'avis d'un panel d'experts pour un diagnostic plutôt que de consulter un seul médecin ; cela réduit les chances d'une erreur grossière.
• Le « Traducteur » Russe (Augmentation par LLM) : Pour la langue russe, l'équipe a constaté que les modèles standards étaient un peu confus par les nuances subtiles. Pour les aider, ils ont utilisé une IA très intelligente (un Grand Modèle de Langage, ou LLM) pour agir comme un « traducteur » ou un « coach ». Avant que les modèles principaux ne tentent de deviner les chiffres, cette IA intelligente écrivait une courte phrase descriptive expliquant pourquoi l'auteur ressentait cela (par exemple, « L'auteur est très satisfait mais légèrement anxieux »). Ils ont injecté cette description aux modèles principaux comme contexte supplémentaire. C'est comme donner un indice à un élève avant un examen ; l'indice a aidé les modèles à mieux comprendre « l'ambiance », ce qui a conduit à des prédictions numériques plus précises.

Défi 2 : Le « Détective » (Sous-tâche 3)

L'Objectif : C'était plus difficile. L'ordinateur devait lire un avis entier et tout trouver : Quel est le sujet ? Quelle est la catégorie ? Quelle est la phrase exprimant l'opinion ? Et quels sont les deux nombres (humeur et intensité) qui s'y rapportent ? C'est comme un détective qui doit trouver le suspect, l'arme, le mobile et l'heure exacte du crime, tout cela en même temps.

La Stratégie de l'Équipe :

• Le « Guichet Unique » (Cadre Génératif) : Habituellement, les gens essaient de résoudre cela en construisant un pipeline : Étape 1 trouver le sujet, Étape 2 trouver l'opinion, Étape 3 deviner les chiffres. L'équipe a réalisé que cela revenait à faire passer un message dans un jeu de « téléphone arabe » — les erreurs s'accumulent et le message final finit par être déformé.
• Au lieu de cela, ils ont utilisé une seule IA puissante (un LLM de type Décodeur) entraînée pour tout faire en une seule fois. Ils lui ont appris à regarder le texte et à « écrire » immédiatement la réponse complète dans un format structuré.
• La Surprise : L'équipe pensait initialement que ces IA « guichet unique » étaient trop douées pour écrire des histoires et mauvaises en mathématiques. Ils s'attendaient à ce que l'approche par « Jury » (du Défi 1) soit meilleure pour deviner les chiffres. Cependant, ils ont découvert que l'IA « détective » était en fait meilleure pour cette tâche. Elle a appris à connecter les mots directement aux sentiments sans avoir besoin d'une étape mathématique séparée. Il s'est avéré que l'IA pouvait « ressentir » l'intensité des mots simplement en comprenant l'histoire.

Les Résultats

• Pour le « Thermostat » (Sous-tâche 1) : Leur approche par « Jury » a très bien fonctionné, battant les systèmes de référence fournis par les organisateurs de la compétition. L'astuce du « Traducteur Russe » les a spécifiquement aidés à obtenir de meilleurs scores dans la section de la langue russe.
• Pour le « Détective » (Sous-tâche 3) : Leur IA détective unique a performé de manière surprenante, se classant 7e sur 18 équipes. L'expérience a prouvé que leur crainte initiale — que les IA ne puissent pas faire la partie mathématique du travail — était erronée. L'IA pouvait gérer le raisonnement complexe et le calcul numérique simultanément.

L'Essentiel

Ce document montre que pour comprendre profondément les émotions humaines, nous devons cesser de traiter les sentiments comme de simples catégories (Bien/Mauvais) et commencer à les mesurer comme des expériences continues (À quel point est-ce bon ? Quelle est l'intensité ?).

L'équipe a conclu que :

1. Le travail d'équipe fonctionne : Combiner plusieurs modèles d'IA différents aide à obtenir les bons chiffres.
2. Le contexte est roi : Pour les langues plus complexes comme le russe, le fait qu'une IA explique le sentiment avec des mots avant de deviner les chiffres aide énormément.
3. Le « tout-en-un » est puissant : Pour les tâches complexes où il faut trouver des détails et deviner des chiffres en même temps, une seule IA intelligente qui fait tout en une seule étape est souvent meilleure qu'une chaîne de petits outils.

Les auteurs admettent que leur système a des limites (il fonctionne mieux sur des modèles plus petits et des jeux de données spécifiques), mais ils estiment que cette approche consistant à utiliser des IA intelligentes pour générer un contexte descriptif et gérer le raisonnement complexe est une voie prometteuse pour l'avenir de la compréhension des sentiments humains.