Is it out-of-the-box? A geometric approach to measuring creative thinking in semantic space

Technische Samenvatting: Is het buiten de box? Een geometrische benadering voor het meten van creatief denken in semantische ruimte

Probleemstelling
De metafoor van "buiten de box denken" is alomtegenwoordig bij het beschrijven van creatief redeneren, maar de "box" zelf mist een operationele definitie in computationele kaders. Zonder een meetbare representatie van conceptuele grenzen is het moeilijk te karakteriseren hoe specifieke ideeën afwijken van gevestigde domeinen. Bestaande computationele benaderingen voor de beoordeling van nieuwheid in wetenschappelijke teksten vertrouwen primair op probabilistische modellering (bijv. de surprisal van taalmodellen) of embedding-gebaseerde gelijkenis. Hoewel deze methoden onvoorspelbaarheid of semantische afstand vastleggen, bieden ze geen expliciete, interpreteerbare opvatting van de omvang van de conceptuele ruimte van een document of hoe ver het afwijkt van historische conceptuele grenzen.

Methodologie
De auteurs stellen een computationeel kader voor dat de "box" formaliseert als een geometrische regio binnen een gedeelde latente semantische ruimte. De methodologie verloopt via de volgende stappen:

1. Constructie van de Semantische Ruimte:

   • De studie maakt gebruik van Latent Semantic Analysis (LSA) in plaats van contextuele transformer-embeddings om een stabiel, gedeeld coördinatenstelsel voor alle documenten te waarborgen. Dit voorkomt de variabiliteit die wordt geïntroduceerd door contextafhankelijke embeddings.
   • Een TF-IDF-matrix wordt geconstrueerd uit het corpus, gevolgd door Truncated Singular Value Decomposition (SVD) om een laag-dimensionale latente ruimte te genereren.
   • Documenten worden gerepresenteerd als eindige verzamelingen punten (term-embeddings) binnen deze vaste $k$-dimensionale ruimte.

2. Geometrische Box-modellering:

   • Document Box: Voor een gegeven document $d$ definieert de verzameling unieke term-embeddings $E_d$ een geometrische regio. De omvang van deze regio wordt gekwantificeerd door een as-gealigneerde bounding box (omhullende box).
   • Volume-meting: De grootte van de conceptuele regio wordt berekend als het log-volume ($\log BLV_{doc}$), gedefinieerd als de som van de logaritmen van de as-gealigneerde breedtes ($\Delta_j$) plus een kleine constante $\epsilon$ voor numerieke stabiliteit. Deze metriek legt de semantische dispersie van het document vast zonder te normaliseren voor lengte, aangezien er niet van wordt uitgegaan dat tekstlengte onafhankelijk is van de conceptuele reikwijdte.

3. Constructie van de Referentie-"Box":

   • Om afwijking te meten, wordt een referentie-"box" geconstrueerd die de gevestigde grenzen van specifieke onderwerpen representeert.
   • Het corpus wordt gesplitst in een trainingset (2015–2017) en een evaluatieset (2018–2020).
   • Latent Dirichlet Allocation (LDA) wordt getraind op de trainingset om onderwerpen (topics) te identificeren. Voor elk onderwerp wordt een vocabulaire geselecteerd op basis van relevantiescores, en een topic-niveau box wordt geconstrueerd met behulp van de embeddings van deze termen.

4. Definitie van de Metriek:

   • De kernmetriek is de Topic-Genormaliseerde Geometrische Afwijking ($\Delta BLV$):
     $$\Delta BLV(d) = \log BLV_{doc}(d) - \log BLV_{topic}(DT(d))$$
   • Deze waarde schat in hoe ver een document zich buiten de historisch waargenomen conceptuele grenzen van zijn dominante onderwerp uitstrekt. Positieve waarden duiden op geometrische expansie; negatieve waarden duiden op begrenzing.

5. Validatie:

   • De voorgestelde geometrische afwijking wordt vergeleken met een surprisal-gebaseerde nieuwheidsmaatstaf afgeleid van de negatieve log-likelihood (NLL) van een GPT-2 taalmodel dat is gefinetuned op dezelfde domeindata.
   • Correlaties worden berekend tussen $\Delta BLV$ en token-niveau verliezen (specifiek de top-$N$ hoogste-verlies tokens) over verschillende aantallen LDA-onderwerpen ($K$).

Belangrijkste Resultaten

• Correlatie met Surprisal: De studie vindt een consistente positieve relatie tussen de geometrische afwijking ($\Delta BLV$) en de surprisal-gebaseerde nieuwheidsmaatstaf (NLL) in zowel de Engineering (ENGI) als de Neuroscience (NEUR) domeinen.
• Statistische Significantie: Alle individuele correlaties die zijn waargenomen over variërende aantallen topic-boxes ($K$) en token-drempels ($N$) zijn statistisch significant ($p < 10^{-3}$).
• Distinctieve Signalen: Hoewel gecorreleerd, suggereren de resultaten dat geometrische afwijking en probabilistische surprisal gerelateerde maar verschillende aspecten van nieuwheid vastleggen. De geometrische benadering meet de structurele omvang van het conceptuele gebied van een document, terwijl surprisal de afwijking van geleerde token-distributies meet.

Significantie en Claims
Het artikel claimt geen definitieve of volledige maatstaf voor creativiteit te bieden. In plaats daarvan positioneert het het kader als een instrument voor het leveren van een interpreteerbaar structureel signaal van conceptuele expansie.

• Interpreteerbaarheid: In tegen tegenover "black box" probabilistische scores biedt de geometrische benadering een transparante visualisatie van hoe de semantische inhoud van een document een breder gebied in de latente ruimte beslaat vergeleken met historische normen.
• Educatieve Toepassing: De auteurs suggereren dat het kader bijzonder nuttig is in het onderwijs voor inventief ontwerp. Het zou kunnen helpen bij het volgen van de ontwikkeling van exploratief denken in de loop van de tijd door te identificeren wanneer studenten zich buiten vertrouwde oplossingspatronen (beperking binnen de box) bewegen naar bredere conceptuele ruimtes (expansie buiten de box).
• Beperkingen: De auteurs erkennen expliciet beperkingen, waaronder het potentieel voor het onderschatten van werkelijk nieuwe termen die niet aanwezig zijn in de trainingsvocabulaire, de vereenvoudiging van semantische geometrie via as-gealigneerde boxes, en het onvermogen om onderscheid te maken tussen betekenisvolle expansie en incoherente semantische dispersie.

Samenvattend draagt dit werk bij aan een complementair perspectief op computationele creativiteit door nieuwheid te modelleren als geometrische expansie in een gedeelde semantische ruimte, waarbij een hanteerbare methode wordt geboden om te kwantificeren hoe ver een tekst afwijkt van gevestigde conceptuele grenzen.