Anticipating Innovation Using Large Language Models

Technische Samenvatting: Innovatie Anticiperen met Grote Taalmodellen

Probleemstelling
Het voorspellen van innovatie, gedefinieerd als het ontstaan van nieuwe technologische combinaties, blijft een fundamentele uitdaging voor wetenschap en beleid. Hoewel echte innovaties per definitie ongekend zijn, suggereert het kader van het "aangrenzende mogelijke" dat de ruimte van realiseerbare innovaties begrensd wordt door huidige kennisconfiguraties. De kernmoeilijkheid ligt in het identificeren van welke combinaties aan deze grens het meest waarschijnlijk zullen worden verwezenlijkt voordat ze optreden. Bestaande benaderingen vertrouwen vaak op technieken uit de netwerkwetenschap die worden toegepast op co-occurrence-netwerken van de Internationale Patentclassificatie (IPC) of op statische embedding van patentteksten. Deze methoden falen echter vaak in het vastleggen van de dynamische, linguïstische evolutie van hoe technologieën worden beschreven in het corpus voorafgaand aan hun formele combinatie, of ze behandelen IPC-codes als statische entiteiten in plaats van contextafhankelijke concepten.

Methodologie
De auteurs introduceren TechToken, een op transformers gebaseerd taalmodel dat technologische classificatiecodes behandelt als integrale onderdelen van de vocabulaire van het taalmodel.

• TechToken-architectuur: In tegenstelling tot standaardbenaderingen die een enkele vector genereren voor een patent en deze middelen om een IPC-code te representeren, breidt TechToken de vocabulaire van een vooraf getraind BERT-model uit door nieuwe tokens in te voeren die corresponderen met specifieke IPC-codes. Tijdens het fijnafstemmen op patentabstracts verwerkt het model sequenties in het formaat: [CLS] patenttitel [SEP] patentabstract [SEP] [TT1] [TT2] ... [TTN], waarbij TTi een IPC-code voorstelt.
• Contextuele Embeddings: Deze architectuur stelt het attentiemechanisme in staat om direct te opereren tussen natuurlijke taalwoorden en technologische tokens. Bijgevolg verkrijgt elke IPC-code een unieke embedding voor elk patent waarin deze voorkomt, waardoor de polysemie van technologieën over verschillende domeinen wordt vastgelegd.
• Contextgelijkenis (CS): Om linguïstische convergentie te kwantificeren, definiëren de auteurs CS als de cosinusgelijkenis tussen de embeddings van twee technologieën. Voor TechToken, dat meerdere embeddings per code genereert (één per patent), wordt CS berekend als het gemiddelde van de top 1% hoogste cosinusgelijkenissen onder alle mogelijke paren van token-embeddings van de twee codes over het corpus. Deze geaggregeerde statistiek dient als een globale, emergente maatstaf voor hoe de linguïstische contexten van twee technologieën convergeren.
• Definitie van Innovatie: De studie definieert een "verwezenlijkte innovatie" niet louter als een eerste co-occurrence, maar als een statistisch significante. Met behulp van een Chung-Lu null-model berekenen de auteurs een z-score voor co-occurrences om echte nieuwe combinaties te onderscheiden van willekeurige ruis, zodat de voorspelling zich richt op innovaties met grote impact.
• Basisvergelijkingen: De studie vergelijkt TechToken met:
  • Gemiddelde Embedding: Standaardmethoden waarbij patent-embeddings (gegenereerd door BERT4Patents of LLaMA 3.1) worden gemiddeld om een IPC-code te representeren.
  • Grote Taalmodellen: Inclusief een fijnafgestemd LLaMA 3.1 8B-model.
  • State-of-the-Art-modellen: Gespecialiseerde modellen zoals PatentSBERTa en Paecter voor specifieke taken.

Belangrijkste Resultaten

• Voorspellende Kracht van Linguïstische Convergentie: De analyse toont aan dat linguïstische convergentie technologische convergentie voorafgaat. De Contextgelijkenis (CS) tussen twee IPC-codes begint significant te stijgen jaren – vaak tot wel twee decennia – voordat de codes voor het eerst co-occurrence in een patent vertonen. Dit signaal is een emergente eigenschap van het gehele corpus en niet toe te schrijven aan een enkel document of uitvinder.
• Superieure Voorspellende Prestaties: TechToken presteert aanzienlijk beter dan alle basismodellen bij het voorspellen van eerste co-occurrences van IPC-codes.
  • Wat betreft AUC-ROC bereikt TechToken (op BERT gebaseerd) scores rond 0,936–0,940, wat significant beter is dan het fijnafgestemde LLaMA 3.1 8B-model (ongeveer 0,856) en standaard BERT4Patents-modellen (ongeveer 0,725–0,765).
  • Opmerkelijk is dat de TechToken-benadering het mogelijk maakt dat een relatief klein BERT-grootte model een model dat ongeveer 25 keer groter is in parameteraantal, overtreft.
  • De prestaties verbeteren wanneer de focus ligt op de meest statistisch significante innovaties (hogere z-scores), wat aangeeft dat het model technologische betekenis vastlegt in plaats van louter trends in patentvolume.
• Algemene Representatiekwaliteit: Naast voorspelling bereikt TechToken state-of-the-art prestaties op standaard patentgerelateerde taken, waaronder IPC-classificatie, citatievoorspelling en titel-abstract matching, wat de hoge kwaliteit van zijn interne representaties bevestigt.

Betekenis en Claims
Het artikel claimt twee primaire bijdragen:

1. Empirisch: Het levert bewijs dat het "aangrenzende mogelijke" een leesbaar, kwantificeerbaar spoor achterlaat in de collectieve taal van patenten lang voordat nieuwe combinaties worden verwezenlijkt. De studie stelt dat verschuivingen in hoe gemeenschappen van praktijk over technologieën schrijven, een vroege, waarneembare signatuur zijn van naderende innovatie. Dit signaal is verdeeld en emergent, en alleen zichtbaar op het niveau van de volledige patentpopulatie.
2. Methodologisch: Het introduceert een algemeen kader voor het embedden van symbolische classificatiecodes direct in de vocabulaire van een taalmodel. Door codes als tokens te behandelen, leert het model contextafhankelijke representaties van gestructureerde entiteiten. De auteurs suggereren dat deze benadering breed toepasbaar is op elk domein waar documenten zijn gelabeld met gecontroleerde vocabulaires (bijvoorbeeld wetenschappelijke publicaties met MeSH-codes of handelsclassificaties).

De auteurs concluderen dat de collectieve taal van uitvinding fungeert als een leidende indicator van technologische verandering. Zij betogen dat relatief lichtgewicht taalmodellen, wanneer ze zijn uitgerust met de juiste symbolische onderbouwing (zoals TechToken), deze indicatoren met precisie kunnen lezen, waardoor een principiële en vroege blik op toekomstige technologische mogelijkheden wordt geboden.

Beperkingen
De auteurs erkennen dat hun analyse werkt op het niveau van de IPC-groep, wat de technologische ruimte kan vergroven en recombinatie binnen een enkele groep kan missen. Bovendien richt het huidige kader zich op parencombinaties, terwijl innovatie vaak hogere-orde assemblages van drie of meer technologieën omvat. Deze worden geïdentificeerd als natuurlijke uitbreidingen voor toekomstig werk.