💬 NLP

Estimating Commonsense Plausibility through Semantic Shifts

Ce papier présente ComPaSS, un cadre discriminatif novateur qui évalue la plausibilité du sens commun en mesurant les déviations sémantiques induites par des augmentations, surpassant ainsi les approches génératives existantes et démontrant l'avantage des modèles vision-langage et du pré-entraînement contrastif pour cette tâche.

Auteurs originaux : Wanqing Cui, Wei Huang, Keping Bi, Jiafeng Guo, Xueqi Cheng

Publié 2026-04-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wanqing Cui, Wei Huang, Keping Bi, Jiafeng Guo, Xueqi Cheng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de deviner si une phrase raconte une histoire crédible ou si elle sonne complètement fausse, comme « Il y a un pingouin vert » ou « Les agriculteurs sont dans un camion avec leurs récoltes ». C'est ce qu'on appelle l'évaluation de la plausibilité du bon sens.

Les grands modèles d'intelligence artificielle (comme ceux qui écrivent des textes) sont très forts pour générer du texte, mais ils ont souvent du mal à dire exactement pourquoi une phrase est bizarre ou logique. C'est là qu'intervient cette nouvelle recherche, baptisée ComPaSS.

Voici une explication simple de comment cela fonctionne, avec quelques images pour aider à visualiser.

1. Le Problème : L'IA qui « devine » trop

Les méthodes actuelles demandent souvent à l'IA de jouer le rôle d'un juge ou de calculer des probabilités statistiques.

L'approche statistique : C'est comme si l'IA disait : « J'ai lu beaucoup de livres, et le mot 'pingouin' est souvent suivi de 'noir', donc 'pingouin noir' est plus probable que 'pingouin vert'. »
Le problème : Parfois, l'IA se trompe parce qu'elle se fie à des habitudes de langage plutôt qu'à la réalité. Par exemple, l'expression « un mouton noir » est très courante dans les livres (c'est une expression idiomatique). Une IA qui lit beaucoup pourrait penser qu'il y a beaucoup de moutons noirs dans la vraie vie, alors que c'est rare.

2. La Solution : ComPaSS et le « Choc Sémantique »

Les auteurs proposent une méthode différente, appelée ComPaSS. Au lieu de demander à l'IA de « juger » ou de « deviner », ils lui demandent de mesurer un choc (ou un déplacement) dans le sens de la phrase.

Imaginez que le sens d'une phrase est comme une boule de pâte à modeler bien formée.

L'ajout plausible : Si vous ajoutez une information logique (ex: « Il y a un pingouin noir »), c'est comme ajouter une petite touche de couleur qui s'intègre parfaitement. La forme de la boule change à peine. Le « choc » est minime.
L'ajout absurde : Si vous ajoutez une information bizarre (ex: « Il y a un pingouin vert »), c'est comme essayer de coller un cube rouge sur une boule bleue. La forme de la boule se déforme énormément. Le « choc » est énorme.

ComPaSS fonctionne ainsi :

Il prend une phrase de base (ex: « Il y a un pingouin »).
Il ajoute une option (ex: « ...noir » ou « ...vert »).
Il mesure la différence entre les deux phrases.
Moins il y a de différence (de choc), plus la phrase est plausible.

C'est comme si vous testiez si un meuble rentre dans une pièce : si vous devez forcer pour le faire entrer, il ne va pas. Si glisse tout seul, c'est qu'il est à sa place.

3. Les Deux Super-Pouvoirs de la Méthode

L'article révèle deux choses fascinantes sur cette méthode :

A. L'importance de voir (Les modèles Vision-Langage)

Les chercheurs ont testé cette méthode avec des modèles qui ne voient que du texte (comme un lecteur aveugle) et des modèles qui voient aussi des images (comme un humain).

Résultat : Les modèles qui voient des images sont bien meilleurs pour les tâches liées aux couleurs ou aux formes.
L'analogie : Imaginez que vous devez décrire la couleur d'un oiseau. Si vous n'avez que des livres, vous risquez de confondre ce qui est écrit et ce qui est vrai. Mais si vous avez une photo, vous voyez directement que le pingouin est noir. La vision aide l'IA à corriger les erreurs de lecture.

B. L'importance de la « finesse » (L'apprentissage contrastif)

Pour que la méthode fonctionne, il faut que l'IA soit capable de sentir les nuances. C'est comme un chef cuisinier qui doit distinguer le sel du sucre au goût.

Les chercheurs ont utilisé des modèles entraînés spécifiquement pour bien distinguer les différences subtiles (ce qu'on appelle l'apprentissage contrastif).
Résultat : Ces modèles « affûtés » détectent beaucoup mieux les petits écarts de sens, rendant la méthode ComPaSS encore plus précise.

4. Pourquoi c'est important ?

Jusqu'à présent, on demandait souvent à l'IA de « dire » si quelque chose était vrai ou faux. C'est comme demander à un enfant de dire « oui » ou « non » sans lui expliquer pourquoi.
ComPaSS, c'est comme demander à l'enfant : « Est-ce que cette pièce de puzzle s'adapte bien ici ? ». En mesurant à quel point la pièce s'adapte (le choc sémantique), on obtient une réponse beaucoup plus fiable et détaillée.

En résumé :
ComPaSS est une nouvelle façon de tester l'intelligence artificielle. Au lieu de la faire « réfléchir » comme un humain, on la fait « sentir » la cohérence d'une phrase en mesurant à quel point elle change le sens global. C'est plus précis, ça évite les pièges des expressions idiomatiques (comme le mouton noir), et ça fonctionne encore mieux quand l'IA a des yeux pour voir le monde réel.

1. Problématique

L'estimation de la vraisemblance du sens commun (Commonsense Plausibility Estimation - CSPE) est cruciale pour évaluer les modèles de langage (LM) et s'assurer que leurs sorties respectent les connaissances partagées sur le monde réel. Cependant, les approches existantes reposant sur une perspective générative présentent des limites :

Estimation de vraisemblance (Likelihood) : Elles supposent que les phrases conformes au sens commun ont une probabilité plus élevée. Or, cela peut être biaisé par des patterns linguistiques statistiques (ex: "mouton noir" est fréquent dans le texte, même si les moutons noirs sont rares).
Jugements verbalisés : Elles demandent au modèle de générer une réponse textuelle (ex: "C'est plausible"). Ces méthodes peinent souvent à effectuer des distinctions fines et nuancées entre plusieurs options plausibles à des degrés différents.

Le défi principal réside dans la capacité à discriminer finement des nuances de plausibilité sans nécessiter de données d'entraînement spécifiques ou de micro-ajustements (fine-tuning) coûteux.

2. Méthodologie : ComPaSS

Les auteurs proposent ComPaSS (Commonsense Plausibility through Semantic Shifts), un cadre discriminatif novateur qui ne repose pas sur la génération de texte, mais sur la mesure des décalages sémantiques.

Principe de base

L'idée centrale est que l'ajout d'informations conformes au sens commun à une phrase de base ne devrait pas modifier radicalement sa signification globale, tandis qu'un ajout non plausible provoquera un décalage sémantique important.

Ajout plausible : Décalage sémantique minimal (haute similarité).
Ajout non plausible : Décalage sémantique substantiel (basse similarité).

Processus technique

Construction de phrases : Pour chaque contexte $c$ $c$ et candidat $a_i$ $a_{i}$ , le système génère deux phrases :
- Une phrase ancre ( $s_{anchor}$ ) : Contient le contexte de base sans le détail spécifique (ex: "Il y a un pingouin").
- Une phrase candidate ( $s_{candi}$ ) : Intègre l'information candidate (ex: "Il y a un pingouin noir" ou "Il y a un pingouin vert").
- Note : La construction s'adapte aux formats d'entrée (triplets structurés ou questions en langage naturel libre) en utilisant des modèles de langage (LLM) comme GPT-4 pour générer des phrases cohérentes si nécessaire.
Encodage : Les deux phrases sont encodées en représentations vectorielles denses ( $r_{anchor}$ et $r_{candi}$ ) à l'aide d'un modèle pré-entraîné ( $\theta$ ), qui peut être un Modèle de Langage (LM) ou un Modèle Vision-Langage (VLM).
Calcul de similarité : La vraisemblance est quantifiée par la similarité (ex: cosinus) entre les deux vecteurs.
$p_i \propto sim(r_{anchor}, r_{candi})$
Un score de similarité élevé indique une forte plausibilité.

Architecture et Modèles

ComPaSS est agnostique à l'architecture et a été testé sur :

LMs (Modèles de Langage) : RoBERTa, Mistral, Qwen2 (avec et sans pré-entraînement par apprentissage contrastif).
VLMs (Modèles Vision-Langage) : CLIP, EVA-CLIP.
Apprentissage Contrastif : L'utilisation de modèles pré-entraînés avec des techniques contrastives (ex: SimCSE, E5) améliore significativement la capacité à capturer les nuances sémantiques.

3. Contributions Clés

Changement de paradigme : Passage d'une approche générative à une approche discriminative pour l'évaluation de la plausibilité, prouvant que la mesure des décalages sémantiques est supérieure pour les tâches fines.
Généralisation : Une méthode "zero-shot" applicable à divers formats d'entrée (triplets structurés vs. texte libre) et à différents types de connaissances (attributs d'objets vs. raisonnement général).
Rôle de la multimodalité : Démonstration que les VLMs surpassent les LM textuels purs sur les tâches ancrées visuellement (couleurs, formes), car ils atténuent le biais de rapportage (reporting bias) inhérent aux données textuelles (ex: le texte mentionne rarement que les pingouins sont noirs, mais l'image le montre clairement).
Efficacité des paramètres : Démonstration que des modèles encodeurs plus petits (ex: RoBERTa) combinés à ComPaSS peuvent rivaliser avec ou surpasser des modèles génératifs massifs (LLMs de plusieurs milliards de paramètres) pour cette tâche spécifique.

4. Résultats Expérimentaux

Les évaluations ont été menées sur deux tâches de référence :

Classement de valeurs d'attributs (CoDa, ViComTe) : Classer des couleurs, formes ou matériaux pour des objets.
Complétion de cadres de sens commun (CFC) : Répondre à des questions ouvertes en classant les réponses par plausibilité.

Principales observations :

Performance supérieure : ComPaSS surpasse systématiquement les méthodes de base (likelihood, verbalisation) et les modèles spécialisés (comme VERA) sur tous les backbones testés.
Avantage des VLMs : Sur les tâches visuelles (couleurs, formes), les modèles comme EVA-CLIP obtiennent les meilleurs scores, surpassant même les LLMs de 7B de paramètres. Cela confirme l'importance de l'ancrage visuel pour corriger les biais textuels.
Impact de l'apprentissage contrastif : L'utilisation de modèles pré-entraînés avec apprentissage contrastif (ex: Mistral w/ CL, Qwen2 w/ CL) améliore nettement les résultats par rapport aux versions de base, car cela affine la séparation dans l'espace d'embedding.
Comparaison avec l'état de l'art : ComPaSS (avec EVA-CLIP ou Mistral) surpasse même GPT-4 sur plusieurs tâches de comparaison binaire, soulignant les limites des approches purement génératives pour les distinctions fines.

5. Signification et Impact

Cet article démontre que pour évaluer la plausibilité du sens commun, il est plus efficace de mesurer la stabilité sémantique d'une phrase face à des ajouts d'information que de demander au modèle de "générer" un jugement.

Réduction du biais : La méthode contourne efficacement les biais statistiques des grands corpus textuels (comme le biais de rapportage sur les couleurs d'animaux) en s'appuyant sur la structure sémantique profonde et, le cas échéant, sur des données visuelles.
Efficacité : Elle offre une voie plus économe en paramètres (en utilisant des encodeurs) pour des tâches d'évaluation qui nécessitent une grande précision, sans nécessiter de réentraînement coûteux.
Futur : Cela ouvre la voie à des systèmes d'évaluation plus robustes pour les LLMs, capables de détecter des incohérences subtiles que les méthodes génératives actuelles manquent.

En résumé, ComPaSS propose une approche élégante et performante qui transforme le problème de l'évaluation du sens commun en un problème de mesure de distance sémantique, tirant parti des avancées récentes en apprentissage contrastif et en modèles multimodaux.