Anticipating Innovation Using Large Language Models
Dieser Beitrag stellt TechToken vor, ein auf Transformern basierendes Modell, das kollektive Verschiebungen in der Patentsprache analysiert, um frühzeitig Signale zukünftiger technologischer Kombinationen Jahrzehnte im Voraus zu erkennen, wodurch die Prognose von Innovationen verbessert und bei patentbezogenen Aufgaben state-of-the-art-Modelle übertroffen werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, eine Überraschungsparty vorherzusagen. Sie können nicht genau wissen, wer erscheinen wird oder welches Geschenk sie mitbringen, bis der Moment eintritt. Wenn Sie jedoch in den Wochen vor der Party genau auf die Gespräche hören, könnten Sie ein Muster bemerken: Menschen beginnen, über dieselben Themen zu sprechen, verwenden ähnliche Witze und planen um dieselben Ideen herum. Obwohl noch niemand offiziell eine Einladung verschickt hat, hat sich die Sprache der Gruppe bereits verändert, um sich auf das Ereignis vorzubereiten.
Dieser Artikel argumentiert, dass Innovation auf die gleiche Weise funktioniert.
Die große Idee: Innovation ist ein „Sprachwandel"
Normalerweise betrachten wir eine neue Erfindung (wie ein Smartphone, das Kamera und Telefon kombiniert) als einen plötzlichen „Eureka!"-Moment. Die Autoren schlagen vor, dass bevor zwei Technologien jemals in einem Patent kombiniert werden, die Art und Weise, wie Erfinder über sie sprechen, beginnt, sich zu vermischen.
Stellen Sie sich Technologien als verschiedene Dialekte vor. Jahrelang wurden „Batterietechnologie" und „Touchscreen-Technologie" möglicherweise in völlig verschiedenen Räumen von verschiedenen Personengruppen „gesprochen". Doch Jahre bevor sie tatsächlich in einem neuen Produkt zusammengefügt werden, beginnen die Erfinder in beiden Räumen, ähnliche Wörter, Metaphern und Satzstrukturen zu verwenden. Das „nahe Mögliche" (das nächste große Ding) hinterlässt lange bevor es zu einem Schrei wird, ein Flüstern in der kollektiven Sprache der Patente.
Das Problem: Alte Karten vs. neues GPS
Frühere Methoden versuchten, diese Kombinationen vorherzusagen, indem sie eine einfache Karte betrachteten: „Wie oft erscheinen diese beiden Dinge zusammen?" Es ist, als würde man versuchen, einen Sturm vorherzusagen, indem man nur Regentropfen zählt. Es ist zu langsam und verpasst die subtilen Veränderungen im Wind.
Andere Methoden versuchten, den Text von Patenten zu lesen, behandelten dabei aber die technischen Codes (wie die IPC-Codes, die wie Bibliothekskatalognummern für Erfindungen sind) als statische Etiketten. Sie verstanden nicht, dass sich die Bedeutung eines Codes je nach der Geschichte, in der er erzählt wird, ändert.
Die Lösung: TechToken (das „Übersetzer"-Modell)
Die Autoren entwickelten ein neues KI-Tool namens TechToken. So funktioniert es, anhand einer einfachen Analogie:
Stellen Sie sich eine Bibliothek vor, in der jedes Buch ein spezielles Etikett (den IPC-Code) trägt.
- Alte Methode: Sie nehmen alle Bücher mit einem „Batterie"-Etikett, lesen sie und fassen zusammen, was „Batterie" bedeutet, wobei Sie einen einzigen großen, verschwommenen Überblick erstellen. Sie verlieren die Nuancen.
- TechToken-Methode: Die KI lernt, dass das „Batterie"-Etikett tatsächlich ein Wort in ihrem eigenen Wortschatz ist, genau wie „Apfel" oder „laufen". Sie liest die Geschichte um das Etikett herum. Sie lernt, dass „Batterie" in einer Geschichte über Elektroautos eine Bedeutung hat, aber in einer Geschichte über Herzschrittmacher etwas anderes bedeutet.
Indem sie die KI lehrt, diese technischen Codes als Wörter in einem Satz zu behandeln, kann sie den Kontext der Erfindung verstehen. Sie lernt, dass, wenn die Sprache um „Batterien" beginnt, mehr wie die Sprache um „Solarmodule" zu klingen, eine Kombination bevorsteht.
Was sie fanden
- Das Signal ist früh: Die Autoren fanden heraus, dass diese „linguistische Konvergenz" Jahrzehnte vor der eigentlichen Erfindung stattfindet. Sie konnten das Signal bis zu 20 Jahre vor der offiziellen Kombination zweier Technologien in einem Patent aufsteigen sehen.
- Es ist eine Gruppenleistung: Sie können dieses Signal nicht in einem einzelnen Patent finden oder indem Sie einem einzelnen Erfinder zuhören. Es erscheint nur, wenn Sie dem gesamten Chor von Tausenden von Erfindern zuhören. Es ist eine kollektive Verschiebung darin, wie die Welt über Technologie denkt.
- Es funktioniert besser: Als sie TechToken gegen andere massive KI-Modelle testeten (einschließlich riesiger Modelle wie LLaMA), gewann TechToken. Es konnte neue Kombinationen viel genauer vorhersagen, obwohl es ein kleineres, effizienteres Modell war. Es bewies, dass das Verständnis des Kontexts der technischen Codes wichtiger ist als nur eine riesige Datenbank mit Fakten zu besitzen.
Warum das wichtig ist
Der Artikel kommt zu dem Schluss, dass das „nahe Mögliche" nicht stumm ist. Es hinterlässt eine lesbare Spur in der Art und Weise, wie wir über unsere Erfindungen schreiben und sprechen. Indem wir der kollektiven Sprache der Erfinder zuhören, können wir die Zukunft lange vor der Einreichung des ersten Patents Gestalt annehmen sehen.
Kurz gesagt: Innovation geht nicht nur darum, neue Dinge zu bauen; es geht darum, dass die Welt beginnt, lange bevor sie gebaut werden, dieselbe Sprache über diese Dinge zu sprechen. TechToken ist das Werkzeug, das endlich gelernt hat, diesem Gespräch zuzuhören.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.