Foundational values for foundation models

Die große KI-Küche: Warum wir uns zwischen Meisterköchen und dem Kochen von Grund auf entscheiden müssen

Stellen Sie sich vor, Sie versuchen einen Roboter zu bauen, der ein Röntgenbild betrachten und Ihnen sagen kann, ob ein Patient einen Knochenbruch hat. In der Welt der medizinischen Wissenschaft ist dies ein Spiel mit hohem Einsatz, bei dem das „Gehirn“ des Roboters (sein Algorithmus) unglaublich intelligent, aber auch sicher und verständlich sein muss. Lange Zeit bauten Wissenschaftler diese Gehirne von Grund auf neu auf, indem sie ihnen jede einzelne Regel der Anatomie und Physik von der Basis an beibrachten. Doch vor kurzem ist ein neuer Trend explodiert: „Foundation Models“ (Basismodelle). Betrachten Sie diese als gigantische, vortrainierte Super-Gehirne, die bereits die gesamte Bibliothek des menschlichen Wissens gelesen haben. Sie sind wie Meisterköche, die bereits jedes Gericht der Welt gekocht haben; man bittet sie nur noch, eine spezifische Suppe zuzubereiten, und sie passen ihr Rezept nur noch leicht an, anstatt mit den Rohzutaten von vorne zu beginnen.

Aber hier liegt der knifflige Teil: Nur weil ein Meisterkoch eine Suppe zubereiten kann, heißt das nicht, dass er die beste Wahl für Ihre spezifische Abendgesellschaft ist. Vielleicht benötigen Sie ein Gericht, das sehr wenig Wasser verbraucht (weil Ihr Brunnen trocken ist), oder vielleicht müssen Sie genau wissen, warum der Koch Salz hinzugefügt hat, damit Sie dem Geschmack vertrauen können. Hier wird die Frage tiefgründig. Wissenschaftler streiten nun darüber, ob sie diese riesigen, vorgefertigten Gehirne verwenden oder ihre eigenen, kleineren, maßgeschneiderten Gehirne bauen sollen. Es geht nicht nur darum, welches schneller oder intelligenter ist; es geht darum, welche Werte am wichtigsten sind. Ist es uns wichtiger, Energie zu sparen? Ist es uns wichtiger, unsere Entscheidungen einem Arzt gegenüber erklären zu können? Oder geht es uns darum, sicherzustellen, dass Wissenschaftler in ärmeren Ländern am Spiel teilnehmen können? Dieses Paper taucht genau in diese Debatte ein und kartiert die verborgenen Werte, die diese technischen Entscheidungen antreiben.

---

Die Landkarte der Werte: Warum wir unsere KI-Werkzeuge wählen

Die Autoren dieses Papers, John Baxter und Elodie Germani, beschlossen, mit der wissenschaftlichen Gemeinschaft ein „Warum?“-Spiel zu spielen. Sie fragten: „Warum entscheiden sich Forscher dafür, diese riesigen Foundation Models zu nutzen, und warum entscheiden sich andere dafür, ihre eigenen Modelle von Grund auf neu zu trainieren?“ Um dies zu beantworten, verwendeten sie eine Methode namens „Sokratische Methode“. Stellen Sie sich einen Detektiv vor, der einen Verdächtigen fragt: „Warum haben Sie das getan?“ und dann weiterfragt: „Und warum war dieser Grund wichtig?“ – immer und immer wieder, bis sie den eigentlichen Kern der Überzeugung erreichen. Sie taten dies, um eine riesige Karte (einen Graphen) zu erstellen, die zeigt, wie verschiedene Werte mit technischen Entscheidungen verknüpft sind.

Ihre Untersuchung ergab, dass die Entscheidung kein einfaches „Gut gegen Schlecht“-Schaltsystem ist. Stattdessen ist es ein Tauziehen zwischen zwei Seiten eines Spektrums. Auf der einen Seite steht die Verwendung von Foundation Models mit minimalen Änderungen (wie das Anheuern eines Meisterkochs). Auf der anderen Seite steht das Training eines Modells von Grund auf oder das Vornehmen massiver Änderungen (wie das Kochen von Grund auf).

Der Fall des Meisterkochs (Foundation Models)

Viele Forscher neigen aus sehr praktischen Gründen dazu, diese vortrainierten Giganten zu verwenden.

Erstens gibt es die Dateneffizienz. Stellen Sie sich vor, Sie versuchen zu lernen, eine seltene Krankheit zu diagnostizieren, aber Sie haben nur fünf Patientenakten. Ein von Grund auf neu trainiertes Modell wäre verwirrt und würde scheitern. Aber ein Foundation Model hat bereits Millionen von Bildern und Mustern gesehen. Es ist wie ein Koch, der schon jeden Gewürzstoff der Welt probiert hat; er kann den Geschmack Ihres neuen Gerichts mit sehr wenig Hilfe erraten. Dies ist ein großer Gewinn für Forscher, die keinen Zugang zu massiven Datenmengen haben.

Zweitens gibt es die Modell-Wiederverwendbarkeit. Warum das Rad neu erfinden? Wenn bereits ein Modell existiert, das gut darin ist, medizinische Bilder zu verstehen, können Sie es einfach nutzen. Das spart Zeit und Mühe, was zu Forschungsgeschwindigkeit und -komfort führt. Medizinische Forschung ist schwer; sie erfordert strenge Regeln, ethische Genehmigungen und komplexe Datenerhebung. Die Verwendung eines vorgefertigten Werkzeugs erlaubt es Wissenschaftlern, die schwere Arbeit des Motorbaus zu überspringen und sich darauf zu konzentgenzentrieren, das Auto zu fahren.

Drittens gibt es die Modell-Anerkennung. Wenn Sie ein berühmtes Modell verwenden, das jeder kennt, wird Ihre Arbeit häufiger zitiert. Es ist wie die Verwendung einer bekannten Marke; die Leute vertrauen ihr, und es ist einfacher, Ihre Arbeit anderen zu erklären.

Der Fall des Kochens von Grund auf (Das eigene Modell trainieren)

Das Paper stellt jedoch fest, dass viele Wissenschaftler gegen die Verwendung dieser Giganten argumentieren, und das aus guten Gründen.

Das größte Problem ist die Erklärbarkeit. Wenn ein Meisterkoch eine Suppe macht und sagt: „Sie schmeckt gut“, aber Sie ihn nicht fragen können, warum er genau dieses Kraut hinzugefügt hat, vertrauen Sie ihr vielleicht nicht. In der Medizin ist Vertrauen alles. Ärzte müssen wissen, warum eine KI glaubt, dass ein Patient krank ist. Foundation Models sind so riesig und komplex, dass selbst ihre Schöpfer oft nicht genau erklären können, wie sie eine Entscheidung treffen. Wenn Sie Ihr eigenes Modell bauen, können Sie es so konzipieren, dass es transparent ist, was es einfacher macht, klinisches Vertrauen zu gewinnen und Regulierungsvorschriften zu erfüllen.

Dann ist da das Problem von Geschwindigkeit und Speicher. Foundation Models sind wie riesige, schwere Lastwagen. Sie sind kraftvoll, aber sie verbrauchen viel Treibstoff (Energie) und benötigen eine riesige Garage (Computerspeicher). Wenn Sie nur ein kleines Paket liefern müssen, ist ein winziges, effizientes Auto (ein maßgeschneidertes Modell) besser. Das Paper merkt an, dass Foundation Models oft „totes Gewicht“ besitzen – Teile des Gehirns, die für Ihre spezifische Aufgabe nicht genutzt werden, aber dennoch Platz beanspruchen. Wenn es Ihnen um Umweltbewusstsein (Sparen von Energie und Wasser) geht oder wenn Sie über begrenzte Computerleistung verfügen, ist das Training eines kleineren, maßgeschneiderten Modells oft die bessere Wahl.

Es gibt auch einen Wert namens Forschungssouveränität. Hierbei geht es um Fairness. Wenn nur wenige reiche Länder oder große Unternehmen die riesigen Meisterköche besitzen, können Wissenschaftler in ärmeren Ländern nicht wirklich teilnehmen, es sei denn, ihnen wird erlaubt, diese spezifischen Werkzeuge zu nutzen. Das Paper legt nahe, dass Foundation Models zwar helfen könnten, das Spielfeld zu ebnen, indem sie jedem Zugang zu einem leistungsstarken Werkzeug verschaffen, es aber das Risiko eines „Infrastruktur-Lock-ins“ gibt, bei dem jeder von einem einzigen Anbieter abhängig wird. Das Bauen eigener Modelle ermöglicht mehr Unabhängigkeit.

Der schwierige Mittelweg: Fairness und Neuheit

Das Paper hebt hervor, dass einige Werte unordentlich sind und sich nicht sauber auf eine Seite einordnen lassen.

Nehmen wir die Fairness. Man könnte denken, dass ein riesiges Modell, das an Millionen von Menschen trainiert wurde, fairer ist, weil es mehr Diversität sieht. Aber die Autoren weisen darauf hin, dass die meisten dieser Modelle tatsächlich von einzelnen Zentren auf einzelnen Datensätzen trainiert wurden, was immer noch voreingenommen sein kann. Die Nutzung eines riesigen Modells behebt Ungerechtigkeit also nicht automatisch; sie könnte sie sogar verbergen. Das Paper legt nahe, dass die Sicherstellung von Fairness tatsächlich mehr Kontrolle über das Modell erfordern könnte, was eher zum Bau des eigenen Modells tendiert.

Dann ist da die Modell-Neuheit. In der Wissenschaft lieben Menschen es, etwas Neues zu entdecken. Die Verwendung eines vorgefertigten Modells führe sich an, als würde man die Erfindung eines anderen benutzen. Wenn man für eine neue Entdeckung berühmt werden will, möchte man vielleicht eine neue Architektur von Grund auf neu bauen. Das Paper stellt jedoch fest, dass „Neuheit“ oft bedeutet, Dinge komplexer zu machen, was im Widerspruch zum Wunsch nach einfachen, energieeffizienten Modellen steht.

Das abschließende Urteil: Es kommt darauf an, was man wertschätzt

Das Paper kommt zu dem Schluss, dass es keine einzige „beste“ Antwort gibt. Die Entscheidung hängt ganz davon ab, was der Forscher am meisten wertschätzt.

• Wenn Sie Geschwindigkeit, Dateneffizienz und Benutzerfreundlichkeit schätzen, werden Sie wahrscheinlich ein Foundation Model wählen.
• Wenn Sie Erklärbarkeit, Umweltauswirkungen und totale Kontrolle schätzen, werden Sie wahrscheinlich Ihr eigenes Modell trainieren.

Die Autoren schlagen vor, dass die wissenschaftliche Gemeinschaft ehrlich über diese Kompromisse sein muss. Wir können nicht einfach sagen: „KI ist gut“ oder „Foundation Models sind die Zukunft“. Wir müssen fragen: „Gut wofür? Und zu welchem Preis?“ Indem wir diese zugrunde liegenden Werte verstehen, können Wissenschaftler bessere Entscheidungen treffen, die nicht nur technisch funktionieren, sondern auch für die Gesellschaft, die Umwelt und die Zukunft der Medizin funktionieren. Das Paper behauptet nicht, das Problem gelöst zu haben, aber es bietet eine klare Landkarte, die allen hilft, sich in der Debatte zurechtzufinden.