A new impact for an AI-mediated science
Dieses Papier argumentiert, dass die traditionelle, auf Zitaten basierende Metrik für den wissenschaftlichen Einfluss in einer Ära entbundelter Zeitschriften und KI-vermittelten Wissenszugangs obsolet wird, was ein neues System erforderlich macht, das die Beiträge von KI-Engagement, Open-Source-Bibliotheken und Datensätzen, denen formale Publikationen fehlen, anerkennt und misst.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die Kernidee: Die Bibliothek verändert sich, aber die Anzeigetafel bleibt gleich
Stellen Sie sich die Welt der Wissenschaft als eine riesige Bibliothek vor. Seit 70 Jahren messen wir den „Erfolg“ eines Buches daran, wie viele andere Bücher in der Bibliothek eine Notiz enthalten, die besagt: „Ich habe dieses hier gelesen.“ Dies ist das Zitationssystem. Wenn ein Paper viel zitiert wird, gilt es als wichtig.
Doch der Autor, Fabio Favoretto, argumenttiert, dass die Bibliothek gerade eine massive Renovierung durchläuft. Wir bewegen uns von einer Welt, in der Menschen Bücher von Cover zu Cover lesen, hin zu einer Welt, in der KI-Assistenten (wie intelligente Chatbots) der Hauptweg sind, um Informationen zu finden.
Das Problem? Die alte Anzeigetafel (das Zählen von Zitaten) ist kaputt, weil sie das Neue nicht sehen kann, was die KI tatsächlich nutzt.
Analogie 1: Der unsichtbare Motor
Stellen Sie sich vor, Sie fahren ein Auto. Die alte Art, den Erfolg eines Autos zu beurteilen, bestand darin, zu zählen, wie viele andere Autos ihm zugelassen haben. Aber jetzt läuft das Auto mit einem neuen, unsichtbaren Motor aus Softwarecode und Daten.
- Das alte System: Zählt, wie viele andere Autos dem Auto (dem veröffentlichten Paper) zugelassen haben.
- Die neue Realität: Das Auto läuft eigentlich mit einem unsichtbaren Motor (Software-Bibliotheken wie
pandasoderNumPy). Diese Motoren sind so essenziell, dass das Auto ohne sie nicht fahren kann, aber sie werden nie „zugelassen“, weil sie nicht als formale Bücher geschrieben sind.
Das Paper zeigt, dass ein Drittel der wichtigsten Werkzeuge, die Wissenschaftler nutzen, überhaupt kein formales Paper besitzt. Es ist nur Code. Das alte Zitationssystem ist blind für sie. Es ist, als würde man den Erfolg eines Küchenchefs nur nach den Rezepten bewerten, die er aufgeschrieben hat, während man ignoriert, dass seine Küche mit einer ganz bestimmten, unsichtbaren Marke eines Herdes läuft, für die er nie ein Handbuch geschrieben hat.
Analogie 2: Der KI-Bibliothekar
Betrachten Sie einen KI-Assistenten als einen superschnellen Bibliothekar, der Ihre Fragen beantwortet.
- Der alte Weg: Wenn Sie fragten: „Was wissen wir über den Klimawandel?“, würde der Bibliothekar Ihnen die berühmtesten, am besten bewerteten Bücher aus den 1990er Jahren überreichen, weil dies die Bücher waren, die andere Bibliothekare empfohlen hatten.
- Der neue Weg: Der KI-Bibliothekar schaut darauf, was jetzt gerade wirklich nützlich ist. Er reicht Ihnen neuere Bücher, praktischere Leitfäden und Open-Access-Zusammenfassungen.
Das Paper fand heraus, dass die KI uns eine jüngere, vielfältigere und praktischere Version der Wissenschaft zeigt als das alte Zitationssystem.
- Die Lücke: In der Klimawissenschaft sind die Top 50 Paper, die eine KI anzeigt, im Durchschnitt 16 Jahre jünger als die Top 50 Paper, die von Menschen zitiert werden.
- Die Gerechtigkeit: Die KI zeigt Ihnen viel wahrscheinlicher kostenlose Open-Access-Paper (wie einen öffentlichen Park) anstatt teurer, abgeschotteter Journale (wie einen privaten Club).
Die vorgeschlagene Lösung: Der „AI Impact Index“
Der Autor schlägt einen neuen Weg vor, Erfolg zu messen, genannt AI Impact Index. Anstatt zu zählen, wie oft ein Paper zitiert wird, zählt dieser neue Index, wie oft ein KI-System ein Werk „berührt“.
Das Paper definiert drei Arten, wie eine KI die Wissenschaft „berührt“:
- Abruf (Retrieval): Die KI findet das Paper, wenn Sie eine Frage stellen (wie ein Bibliothekar, der ein Buch aus dem Regal zieht).
- Generierung (Generation): Die KI schreibt eine Antwort, die der Struktur des Papers sehr ähnlich sieht (wie ein Student, der ein Buch in eigenen Worten zusammenfasst).
- Memorierung (Memorization): Die KI kann spezifische Fakten aus dem Paper abrufen, wenn sie direkt danach gefragt wird (wie ein Quiz-Champion, der sich an ein spezifisches Datum erinnert).
Wichtige Unterscheidung: Der Autor betont sehr vorsichtig, dass dieser neue Index nicht beweist, dass das Paper „wahr“ oder das „Beste“ ist. Er beweist lediglich, dass die KI es erreicht hat. Es ist ein Maß für den Zugang, nicht unbedingt für die Qualität.
Warum das wichtig ist (Das „Und was nun?“)
Das Paper argumentiert, dass wir die falschen Dinge belohnen werden, wenn wir unser Bewertungssystem nicht aktualisieren.
- Das Risiko: Wir könnten weiterhin Menschen auszeichnen, die schicke Paper schreiben, die niemand mehr wirklich liest, während wir die Menschen ignorieren, die die unsichtbaren Software-Tools und Datensätze gebaut haben, auf die die KI (und der Rest der Wissenschaft) tatsächlich angewiesen ist.
- Das Ziel: Wir brauchen eine neue „Vertrauens-Technologie“. So wie früher Journale das Gütesiegel waren, brauchen wir ein System, das die Software, die Daten und die Werkzeuge sehen und würdigen kann, die die KI nutzt, um ihre Arbeit zu erledigen.
Zusammenfassung in einem Satz
Die Wissenschaft bewegt sich von einer Welt der Bücher hin zu einer Welt der KI-Assistenten. Die alte Art, Erfolg zu messen (das Zählen von Zitaten), ist so, als würde man versuchen, die Popularität eines Videospiels zu messen, indem man zählt, wie viele Leute die Bedienungsanleitung gekauft haben. Es übersieht die Tatsache, dass das Spiel selbst (der Code, die Daten, die Werkzeuge) das ist, womit eigentlich alle spielen.
Dieses Paper schlägt vor, dass wir damit beginnen sollten zu zählen, wie oft die KI mit der Wissenschaft „spielt“, damit wir endlich den unsichtbaren Werkzeugen Anerkennung zollen können, die die moderne Wissenschaft zum Arbeiten bringen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.