Intern-S2-Preview: Scientific Agentic Foundation Model
Das Papier stellt Intern-S2-Preview vor, eine Serie wissenschaftlicher agentischer Fundamentmodelle, die durch eine spezialisierte multimodale Pre-Training- und vereinheitlichte Post-Training-Pipeline unter Verwendung fortschrittlicher Reinforcement-Learning- und speicheraugmentierter Architekturen trainiert wurden, um Spitzenleistungen in wissenschaftlichem Denken, Werkzeuginteraktion und langfristigen Aufgaben zu erzielen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Wissenschaftler zu sein. In der Vergangenheit haben wir Robotern riesige Bibliotheken voller Texte gegeben und sie gebeten, Fragen wie bei einer Quizshow zu beantworten. Aber echte Wissenschaft ist kein Quiz; sie ist ein chaotisches, langes Abenteuer. Sie beinhaltet das Betrachten seltsamer Bilder von Zellen, das Lesen von Diagrammen, die wie Herzschläge wackeln, die Nutzung von Computerwerkzeugen, um Experimente durchzuführen, und das Durchdenken eines Problems über Stunden hinweg, ohne den Faden zu verlieren. In dieser Arbeit geht es darum, eine neue Art von „Supergehirn“ für Roboter zu bauen, das nicht nur Fakten auswendig lernt, sondern tatsächlich Wissenschaft betreibt. Es ist darauf ausgelegt, komplexe Bilder zu verstehen, zukünftige Zahlen vorherzusagen und wie ein Detektiv zu agieren, der Werkzeuge nutzen kann, um Geheimnisse über einen langen Zeitraum hinweg zu lösen. Die große Idee ist, dass eine KI, um ein echter wissenschaftlicher Assistent zu sein, in der Lage sein muss, verschiedene Arten von Informationen (wie Text, Bilder und Zahlen) zu jonglieren und stetig an einem schwierigen Problem weiterzuarbeiten, ohne aufzugeben oder verwirrt zu werden.
Das Team hinter diesem Projekt, vom Shanghai AI Laboratory, stellt eine neue Familie von KI-Modellen namens Intern-S2-Preview vor. Betrachten Sie dieses Modell als einen massiven, 397 Milliarden Parameter umfassenden „Generalisten“-Wissenschaftler, der fast jede jemals geschriebene wissenschaftliche Arbeit gelesen hat. Aber anstatt nur dort zu sitzen und Dinge zu wissen, ist dieses Modell darauf ausgelegt, zu handeln. Es kann ein wissenschaftliches Diagramm betrachten, die Geschichte dahinter verstehen und dann Computerwerkzeuge nutzen, um Simulationen durchzuführen oder Code zu schreiben, um eine Hypothese zu testen.
So haben sie diesen Superwissenschaftler gebaut:
Zuerst haben sie das Modell gelehrt, indem sie ihm Millionen von wissenschaftlichen Dokumenten zeigten, aber nicht nur den Text. Sie zeigten ihm die tatsächlichen Seiten, mit all den Bildern, Diagrammen und Gleichungen in ihrem ursprünglichen Layout. Es ist, als würde man einen Schüler lehren, indem man ihm das gesamte Lehrbuch inklusive der Diagramme reicht, anstatt nur den Text laut vorzulesen. Dies hilft dem Modell zu verstehen, wie Wissenschaftler ihre Ideen tatsächlich präsentieren.
Dann gaben sie dem Modell eine spezielle „Zeitreise“-Fähigkeit. Die meisten KI-Modelle sind schlecht darin, vorherzusagen, was als Nächstes in einer Zahlensequenz passiert (wie etwa Wettermuster oder Aktienkurse). Intern-S2-Preview erhielt ein spezielles Upgrade, um diese „Zeitreihen“-Daten zu verarbeiten. Es kann nun eine lange Zahlenreihe betrachten und präzise vorhersagen, was als Nächstes passieren wird, was entscheidend für Dinge wie die Vorhersage des Klimawandels oder die Analyse von Gehirnsignalen ist.
Einer der coolsten Tricks, die sie verwendet haben, heißt Memory Decoder. Stellen Sie sich vor, das Hauptgehirn mit 397 Milliarden Parametern ist ein brillanter Generalist, der ein wenig über alles weiß. Aber was, wenn Sie ein Experte in einem winzigen Bereich wie der Biologie sein müssen? Anstatt das ganze riesige Gehirn neu zu trainieren (was langsam wäre und dazu führen könnte, dass es andere Dinge vergisnt), haben sie ein kleines, spezialisiertes „Notizbuch“ namens Memory Decoder angehängt. Dieses Notizbuch enthält spezifisches biologisches Wissen. Wenn die KI eine biologische Frage beantworten muss, konsultiert sie dieses Notizbuch. Das Ergebnis? Die Biologie-Scores des Modells sprangen von 56,92 auf 60,32, während sein Allgemeinwissen exakt gleich blieb. Es ist, als hätte man einen genialen Freund, der sofort ein spezialisiertes Handbuch heranziehen kann, wenn man eine spezifische Frage stellt, ohne dafür einen neuen Abschluss machen zu müssen.
Das Team hat das Modell auch beigebracht, ein Long-Horizon Agent zu sein. Das bedeutet, die KI kann eine mehrstufige Mission planen. Anstatt nur mit „Was ist die Hauptstadt von Frankreich?“ zu antworten, kann ihr die Aufgabe gestellt werden: „Entwirf ein neues Medikament.“ Sie könnte dann: 1) nach bestehender Forschung suchen, 2) Code schreiben, um das Verhalten des Medikaments zu simulieren, 3) die Simulation ausführen, 4) feststellen, dass sie fehlgeschlagen ist, 5) den Code anpassen, 6) und es erneut versuchen. Die Arbeit zeigt, dass das Modell durch eine spezielle Trainingsmethode namens „Reinforcement Learning“ gelernt hat, diese langen, komplexen Arbeitsabläufe zu bewältigen, ohne stecken zu bleiben oder dumme Fehler zu machen.
Als sie Intern-S2-Preview-397B testeten, schnitt es unglaublich gut ab. In Tests, die messen, wie gut es Biologie, Chemie und Physik versteht, schlug es viele andere Top-Modelle. Es war besonders gut darin, wissenschaftliche Diagramme zu lesen und Zeitreihendaten vorherzusagen, wobei es oft Modelle übertraf, die viel größer sind oder nur auf diese Aufgaben spezialisiert sind. Zum Beispiel erzielte es in einem Test namens Biology-Instructions einen Wert von 56,92, und mit dem angehängten Memory Decoder verbesserte es sich auf 60,32. Bei allgemeinen Reasoning-Tests wie MMLU-Pro erreichte es 89,75, was der beste Wert unter den Open-Source-Modellen ist.
Die Autoren betonen jedoch vorsichtig, dass es sich um eine „Preview“ handelt. Es ist ein leistungsstarkes neues Werkzeug, aber es ist noch nicht perfekt. Sie stellen fest, dass das Modell zwar großartig darin ist, logisches Denken mit Handlungen zu verknüpfen, aber noch Arbeit geleistet werden muss, um es für sehr lange, komplexe wissenschaftliche Arbeitsabläufe noch zuverlässiger zu machen. Sie betonen auch, dass dieses Modell ein Fundament ist – ein Ausgangspunkt, der mit verschiedenen „Memory-Notizbüchern“ für unterschiedliche wissenschaftliche Felder angepasst werden kann, ohne dass das gesamte Gehirn neu aufgebaut werden muss.
Kurz gesagt präsentiert diese Arbeit eine neue Art von KI, die bereit ist, über das bloße Beantworten von Fragen hinauszugehen und tatsächlich die Arbeit der wissenschaftlichen Entdeckung aufzunehmen – vom Lesen komplexer Graphen bis hin zum Durchführen langer Experimente – und dabei gleichzeitig ihr Allgemeinwissen intakt und ihre spezialisierten Fähigkeiten scharf hält.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.