💬 NLP

LLM generation novelty through the lens of semantic similarity

Cet article propose un cadre de recherche sémantique à trois étapes et évolutif pour mesurer la nouveauté de la génération des LLM par rapport aux corpus complets de pré-entraînement, révélant que les modèles utilisent des données sur des séquences plus longues qu'on ne le pensait auparavant, présentent des motifs de nouveauté spécifiques à certains domaines et augmentent la nouveauté grâce à l'ajustement d'instructions.

Auteurs originaux : Philipp Davydov, Ameya Prabhu, Matthias Bethge, Elisa Nguyen, Seong Joon Oh

Publié 2026-08-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Philipp Davydov, Ameya Prabhu, Matthias Bethge, Elisa Nguyen, Seong Joon Oh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de déterminer si un élève reproduit le contenu d'un examen. Si l'élève copie une phrase mot pour mot du manuel, la reproduction est évidente. Mais que se passe-t-il s'il lit tout le chapitre, comprend le concept, puis écrit une phrase totalement nouvelle qui signifie exactement la même chose ? Est-ce de la reproduction ou un véritable apprentissage ? C'est la grande question à laquelle sont confrontés les scientifiques qui étudient l'intelligence artificielle (IA). Ces modèles d'IA, souvent appelés Grands Modèles de Langage (LLM), sont comme des étudiants surpuissants qui ont lu presque tout l'internet. Ils peuvent écrire des histoires, résoudre des problèmes mathématiques et discuter avec nous. Mais parfois, ils ne font que répéter ce qu'ils ont lu auparavant, et d'autres fois, ils semblent inventer quelque chose de nouveau. La partie délicate consiste à faire la différence entre « copier » et « créer » lorsque l'IA est si douée pour cacher ses sources. Les scientifiques veulent savoir : l'IA est-elle réellement en train de réfléchir et de généraliser, ou n'est-elle qu'un perroquet sophistiqué répétant des motifs mémorisés ?

Cet article présente une nouvelle méthode ingénieuse pour résoudre ce mystère. Au lieu de simplement chercher des correspondances de mots exactes (comme un correcteur orthographique), les auteurs ont construit un système qui examine le sens derrière les mots. Ils appellent cela la « similitude sémantique ». Pensez-y comme à la comparaison de deux peintures. Si vous ne regardez que les coups de pinceau spécifiques, deux peintures peuvent paraître totalement différentes. Mais si vous regardez l'image globale, vous pourriez réaliser qu'elles représentent toutes deux le même coucher de soleil. Les chercheurs ont utilisé cette idée pour scanner les immenses bibliothèques de données sur lesquelles l'IA a été entraînée. Ils ne se sont pas contentés de demander : « L'IA a-t-elle copié cette phrase ? » Ils ont demandé : « L'IA a-t-elle copié l'idée de cette phrase, même si elle a utilisé des mots différents ? »

Pour tester cela, l'équipe a utilisé une famille de modèles d'IA appelée SmolLM. Ils ont mis en place une enquête en trois étapes. Premièrement, ils ont utilisé un outil de recherche rapide pour trouver les idées les plus similaires dans la bibliothèque d'entraînement. Deuxièmement, ils ont réévalué ces résultats pour s'assurer qu'ils regardaient le bon type de similitude, et non de simples correspondances courtes et faciles. Enfin, et c'est la partie la plus importante, ils ont comparé les réponses de l'IA aux réponses écrites par de vrais humains. Cela a servi d'outil de « calibration », semblable à un chef qui goûte un plat par rapport à une recette standard pour voir si l'assaisonnement est juste. En faisant cela, ils pouvaient mesurer à quel point la production de l'IA était réellement « novatrice » (nouvelle et différente), qu'elle ait l'air sophistiquée ou simple.

Les résultats ont été surprenants et changent notre perception de ces modèles d'IA. Premièrement, ils ont découvert que les modèles d'IA puisent dans leurs données d'entraînement sur des segments de texte beaucoup plus longs que ce que l'on pensait auparavant. Il ne s'agit pas seulement de copier une phrase unique ; ils tissent ensemble des idées provenant de longs paragraphes. Deuxièmement, le type de tâche importe énormément. Lorsque l'IA est sollicitée pour faire quelque chose de très strict, comme résoudre un problème mathématique, elle a tendance à être moins novatrice car il n'y a qu'une seule bonne façon de donner la réponse. Mais lorsqu'on lui demande d'écrire une histoire ou de répondre à une question complexe, elle devient beaucoup plus créative et moins semblable à un imitateur.

La découverte la plus intéressante concernait peut-être l'« ajustement par instructions » (instruction tuning). Il s'agit de l'apprentissage par lequel on enseigne à une IA à suivre des commandes spécifiques, comme « agis comme un assistant utile ». Les chercheurs ont découvert que cet entraînement ne change pas seulement le style de l'IA ; cela la rend en fait plus novatrice. Les modèles ajustés par instructions ont commencé à utiliser des formulations et des structures différentes qui étaient moins similaires à leurs données d'entraînement d'origine. C'est comme si le fait d'apprendre à l'IA à suivre des instructions lui avait donné la confiance nécessaire pour arrêter de répéter le manuel et commencer à écrire sa propre histoire.

Les auteurs ont également découvert que les modèles d'IA plus petits étaient souvent plus « novateurs » que les géants. Les modèles plus gros semblaient rester plus proches de leurs données d'entraînement, presque comme s'ils avaient plus peur de s'éloigner de ce qu'ils avaient mémorisé. Bien que l'étude ne prouve pas que ces modèles « pensent » au sens humain du terme, elle suggère fortement que l'ajustement par instructions les aide à dépasser la simple mémorisation. Les chercheurs ont rendu tous leurs outils et données publics afin que d'autres puissent vérifier leur travail, espérant que cette nouvelle façon de mesurer la « nouveauté » aidera à comprendre exactement ce que ces cerveaux numériques apprennent et quand ils créent véritablement quelque chose de nouveau.

Résumé technique : La nouveauté de la génération des LLM à travers le prisme de la similitude sémantique

Problématique

Évaluer la nouveauté de la génération des grands modèles de langage (LLM) est crucial pour comprendre leur capacité de généralisation au-delà des données d'entraînement. Cependant, les méthodes d'évaluation existantes présentent des limitations significatives :

Biais lexical : Les métriques traditionnelles reposent sur un chevauchement textuel strict (par exemple, le non-chevauchement de n-grammes), ce qui ne parvient pas à détecter le paraphrasage, le reformatage ou les variations stylistiques, étiquetant ainsi à tort comme « nouveaux » des contenus sémantiquement réutilisés.
Contraintes d'échelle : Analyser la nouveauté par rapport à l'intégralité des corpus de pré-entraînement est informatiquement prohibitif, ce qui conduit de nombreuses études à s'appuyer sur des ensembles de référence curatés et spécifiques à un domaine, ignorant ainsi la distribution plus large de l'entraînement.
Ambiguïté conceptuelle : Il n'existe pas de définition unifiée de la nouveauté qui distingue la « reproduction » (sémantiquement identique aux données d'entraînement) de la « composition » (interne cohérente mais sémantiquement distincte).

Méthodologie

Les auteurs proposent un cadre en trois étapes pour mesurer la nouveauté sémantique à l'échelle des corpus de pré-entraînement. Cette approche traite la nouveauté comme un problème de recherche d'information sémantique, exploitant des pipelines de recherche d'information efficaces pour comparer les sorties du modèle à l'ensemble de son corpus de pré-entraînement.

1. Définition conceptuelle

La nouveauté sémantique est définie comme la distance cosinus minimale entre l'embedding d'une génération de LLM ( $y$ ) et les embeddings des documents du corpus de pré-entraînement ( $C$ ) :
$\text{Nouveauté}(y) = \min_{d \in C} (1 - \cos(\phi(y), \phi(d)))$
où $\phi$ est une fonction d'embedding. Cette définition privilégie le contenu plutôt que la forme de surface, distinguant la reproduction de la composition.

2. Le cadre en trois étapes

Le cadre opère à l'échelle d'un jeu de données et est agnostique vis-à-vis du modèle :

Étape 1 : Identification du pool de candidats locaux (Recherche) :
Pour chaque génération, un classificateur grossier ( $R$ ) extrait les $n$ passages les plus pertinents du corpus de pré-entraînement présentant le plus haut potentiel de chevauchement sémantique. Cela agit comme un filtre à haut rappel pour créer un espace de recherche informatiquement efficace. Les auteurs utilisent les embeddings GIST indexés via FAISS pour cette étape.
Étape 2 : Re-classement sémantique multi-échelle :
Pour distinguer la réutilisation lexicale à courte portée de la nouveauté compositionnelle à longue portée, la génération et son pool de candidats sont décomposés en segments (chunks) de tailles variables ( $k$ ). Un re-classificateur de haute précision ( $S$ ), spécifiquement ColBERTv2, calcule la similitude maximale entre chaque segment et son pool respectif. Cette étape garantit la robustesse face au paraphrasage et aux changements de style.
Étape 3 : Normalisation distributionnelle calibrée :
Les scores de similitude bruts sont non linéaires et sensibles aux artefacts tels que la longueur de la séquence et la densité du domaine. Pour atténuer cela, le cadre calibre les scores du modèle par rapport à une base de référence humaine de la nouveauté ( $H$ $H$ ).
- Un « seuil de bruit sémantique » ( $\tilde{\mu}^{(k)}_H$ ) est calculé comme la médiane de la similitude de textes écrits par des humains (garantis absents du corpus d'entraînement) pour une taille de segment spécifique.
- Le Score de Similitude Calibré final est le ratio du score brut du modèle par rapport à cette base de référence humaine :
  $\text{Score Calibré}(k) = \frac{\text{Score de Similitude Brut}}{\tilde{\mu}^{(k)}_H}$
- Un score d'environ $1$ indique que la similitude du modèle avec le corpus d'entraînement est comparable à la similitude du texte humain avec le corpus (c'est-à-dire une nouveauté comparable). Crucialement, des scores plus élevés indiquent une plus grande similitude avec les données d'entraînement, ce qui correspond à une plus faible nouveauté. Inversement, des scores plus bas indiquent un plus grand écart par rapport aux données d'entraînement et donc une plus grande nouveauté.

Configuration expérimentale

Le cadre a été appliqué aux familles de modèles SmolLM et SmolLM2 (360M et 1.7B de paramètres, versions Base et Instruction-tuned).

Corpus : Les corpus complets de pré-entraînement pour ces modèles ont été indexés (~20 To d'embeddings).
Lignes de base (Baselines) : Le texte humain du dataset Dolma (ne faisant pas partie des ensembles d'entraînement) a servi de référence de nouveauté.
Tâches :
- Génération ouverte : Avec incitation (avec contexte) et sans incitation (sans contexte).
- Benchmarks spécifiques au domaine : GSM8K (Mathématiques), TruthfulQA (Logique) et OpenRewriteEval (Réécriture), filtrés strictement pour la correction afin de s'assurer que les signaux de nouveauté n'étaient pas induits par des hallucinations.

Principaux résultats

L'analyse a produit trois observations majeures :

Modèles de réutilisation à longue portée :
Les modèles puisent dans les données de pré-entraînement sur des séquences beaucoup plus longues que ce qui avait été rapporté précédemment par les méthodes lexicales. Bien que le chevauchement de n-grammes tombe à zéro pour le contenu paraphrasé, la similitude sémantique révèle que les modèles reproduisent souvent des concepts présents dans les données d'entraînement sur des centaines de tokens.
Nouveauté dépendante de la tâche :
La nouveauté varie systématiquement selon le domaine.
- Tâches contraintes (ex: GSM8K) : Les solutions valides possèdent un espace sémantique étroit, ce qui conduit à des scores de similitude plus élevés (plus faible nouveauté), car il existe un nombre limité de manières de formuler correctement une preuve.
- Tâches ouvertes (ex: TruthfulQA) : Permettent une plus grande variance sémantique, entraînant des scores de similitude plus bas (plus grande nouveauté).
Impact de l'ajustement par instructions (Instruction Tuning) :
L'ajustement par instructions agit comme un « catalyseur de nouveauté ».
- Les modèles ajustés par instructions présentent systématiquement des scores de similitude plus faibles (nouveauté plus élevée) que leurs homologues de base dans tous les domaines.
- Cette augmentation n'est pas simplement stylistique ; même en filtrant pour la correction, les modèles ajustés produisent des réponses qui sont compositionnellement distinctes des données brutes de pré-entraînement.
- Effet d'échelle : Les modèles plus petits (360M) se sont révélés plus nouveaux que les modèles plus grands (1.7B) dans certains contextes, suggérant que les modèles plus grands possèdent une plus grande « capacité de mémorisation » dans l'espace sémantique.

Signification et affirmations

L'article affirme fournir une méthode scalable, interprétable et robuste pour analyser la généralisation des LLM.

Au-delà de la mémorisation : Contrairement aux attaques d'inférence d'appartenance ou à la détection de mémorisation qui se concentrent sur la reproduction verbatim, ce cadre mesure le degré de réutilisation sémantique, offrant un spectre continu de généralisation.
Robustesse au style : En opérant dans l'espace de représentation sémantique, la méthode est insensible aux variations stylistiques introduites par l'ajustement par instructions, qui confondent souvent les métriques de surface.
Reproductibilité : Les auteurs publient environ 20 To de segments de corpus et des indices FAISS pour permettre de futures recherches sur la nouveauté à l'échelle du pré-entraînement.

Les auteurs concluent que l'analyse de la nouveauté sémantique est un prérequis pour interpréter ce que les LLM apprennent réellement, soulignant que l'ajustement par instructions façonne non seulement le style, mais aussi le comportement compositionnel fondamental du modèle. Ils précisent explicitement que leurs mesures de nouveauté sont des indicateurs relatifs et distributionnels, et non des outils pour identifier un contenu spécifique mémorisé ou pour faire des revendications juridiques sur la provenance des données.