Is it out-of-the-box? A geometric approach to measuring creative thinking in semantic space

Résumé technique : Est-ce en dehors de la boîte ? Une approche géométrique pour mesurer la pensée créative dans l'espace sémantique

Énoncé du problème
La métaphore de « penser en dehors de la boîte » (thinking outside the box) est omniprésente pour décrire le raisonnement créatif, pourtant la « boîte » elle-même manque d'une définition opérationnelle dans les cadres computationnels. Sans une représentation mesurable des frontières conceptuelles, il est difficile de caractériser comment des idées spécifiques s'écartent des domaines établis. Les approches computationnelles existantes de l'évaluation de la nouveauté dans les textes scientifiques reposent principalement sur la modélisation probabiliste (par exemple, la surprisal des modèles de langage) ou la similitude basée sur les plongements (embeddings). Bien que ces méthodes capturent l'imprévisibilité ou la distance sémantique, elles ne fournissent pas de notion explicite et interprétable de l'étendue de l'espace conceptuel d'un document, ni de la manière dont il s'écarte des frontières conceptuelles historiques.

Méthodologie
Les auteurs proposent un cadre computationnel qui formalise la « boîte » comme une région géométrique au sein d'un espace sémantique latent partagé. La méthodologie procède selon les étapes suivantes :

1. Construction de l'espace sémantique :

   • L'étude emploie l'Analyse Sémantique Latente (LSA) plutôt que des plongements de transformeurs contextuels afin de garantir un système de coordonnées stable et partagé à travers tous les documents. Cela évite la variabilité introduite par les plongements dépendants du contexte.
   • Une matrice TF-IDF est construite à partir du corpus, suivie d'une Décomposition en Valeurs Singulières Tronquée (SVD) pour générer un espace latent de faible rang.
   • Les documents sont représentés comme des ensembles finis de points (plongements de termes) au sein de cet espace de dimension $k$ fixe.

2. Modélisation géométrique de la boîte :

   • Boîte du document : Pour un document $d$ donné, l'ensemble $E_d$ des plongements de termes uniques définit une région géométrique. L'étendue de cette région est quantifiée par une boîte englobante alignée sur les axes (axis-aligned bounding box).
   • Mesure du volume : La taille de la région conceptuelle est calculée comme le log-volume ($\log BLV_{doc}$), défini comme la somme des logarithmes des largeurs alignées sur les axes ($\Delta_j$) plus une petite constante $\epsilon$ pour la stabilité numérique. Cette métrique capture la dispersion sémantique du document sans normaliser par rapport à la longueur, car la longueur du texte n'est pas supposée indépendante de l'étendue conceptuelle.

3. Construction de la « boîte » de référence :

   • Pour mesurer l'écart, une boîte de référence représentant les frontières établies est construite pour des sujets spécifiques.
   • Le corpus est divisé en un ensemble d'entraînement (2015–2017) et un ensemble d'évaluation (2018–2020).
   • Une Allocation de Dirichlet Latente (LDA) est entraînée sur l'ensemble d'entraînement pour identifier des sujets. Pour chaque sujet, un vocabulaire est sélectionné sur la base de scores de pertinence, et une boîte au niveau du sujet est construée en utilisant les plongements de ces termes.

4. Définition de la métrique :

   • La métrique centrale est la Déviation Géométrique Normalisée par le Sujet ($\Delta BLV$) :
     $$\Delta BLV(d) = \log BLV_{doc}(d) - \log BLV_{topic}(DT(d))$$
   • Cette valeur estime à quel point un document s'étend au-delà des frontières conceptuelles historiquement observées de son sujet dominant. Les valeurs positives indiquent une expansion géométrique ; les valeurs négatives indiquent un confinement.

5. Validation :

   • La déviation géométrique proposée est comparée à une mesure de nouveauté basée sur la surprisal dérivée de la log-vraisemblance négative (NLL) d'un modèle de langage GPT-2 affiné sur les mêmes données de domaine.
   • Des corrélations sont calculées entre la déviation géométrique ($\Delta BLV$) et les pertes au niveau des jetons (token-level losses) (spécifiquement les $N$ jetons ayant la perte la plus élevée) pour différents nombres de sujets LDA ($K$).

Résultats clés

• Corrélation avec la surprisal : L'étude trouve une relation positive constante entre la déciation géométrique ($\Delta BLV$) et la mesure de nouveauté basée sur la surprisal (NLL) dans les deux domaines, Ingénierie (ENGI) et Neurosciences (NEUR).
• Signification statistique : Toutes les corrélations individuelles observées à travers les différents nombres de boîtes de sujets ($K$) et de seuils de jetons ($N$) sont statistiquement significatives ($p < 10^{-3}$).
• Signaux distincts : Bien que corrélés, les résultats suggèrent que la déviation géométrique et la surprisal probabiliste capturent des aspects liés mais distincts de la nouveauté. L'approche géométrique mesure l'étendue structurelle de la région conceptuelle d'un document, tandis que la surprisal mesure l'écart par rapport aux distributions de jetons apprises.

Signification et revendications
Le papier ne prétend pas fournir une mesure définitive ou complète de la créativité. Il positionne plutôt le cadre comme un outil permettant de fournir un signal structurel interprétable d'expansion conceptuelle.

• Interprétabilité : Contra à les scores probabilistes de type « boîte noire », l'approche géométrique offre une visualisation transparente de la manière dont le contenu sémantique d'un document couvre une région plus large de l'espace latent par rapport aux normes historiques.
• Application éducative : Les auteurs suggèrent que le cadre est particulièrement utile dans l'enseignement du design inventif. Il pourrait permettre de suivre le développement de la pensée exploratoire au fil du temps en identifiant quand les étudiants dépassent les schémas de solutions familiers (confinement dans la boîte) pour atteindre des espaces conceptuels plus larges (expansion au-delà de la boîte).
• Limites : Les auteurs reconnaissent explicitement des limites, notamment la possibilité de sous-estimer les termes réellement nouveaux non présents dans le vocabulaire d'entraînement, la simplification de la géométrie sémantique via des boîtes alignées sur les axes, et l'incapacité à distinguer une expansion significative d'une dispersion sémantique incohérente.

En résumé, ce travail contribue à une perspective complémentaire de la créativité computationnelle en modélisant la nouveauté comme une expansion géométrique dans un espace sémantique partagé, offrant une méthode traitable pour quantifier la distance à laquelle un texte s'écarte des frontières conceptuelles établies.