In der Welt der modernen künstlichen Intelligenz sind große Sprachmodelle wie riesige Bibliotheken menschlichen Wissens, die in der Lage sind, Geschichten zu schreiben, Gleichungen zu lösen und Fragen zu beantworten. Diese Bibliotheken sind jedoch nicht von Natur aus so organisiert, dass sie hilfreich, sicher oder gehorsam gegenüber menschlichen Anweisungen sind. Um dies zu beheben, nutzen Forscher einen Prozess namens Alignment (Ausrichtung), der als letzte Trainingsphase dient, um dem Modell beizubringen, sich wie ein guter Assistent zu verhalten. Die Standardmethode hierfür umfasst eine Technik, die als Reinforcement Learning (bestärkendes Lernen) bekannt ist, bei der das Modell verschiedene Antworten ausprobiert, eine Bewertung dafür erhält, wie gut sie sind, und dann komplexe Mathematik verwendet, um seine internen Einstellungen anzupassen, um beim nächsten Mal eine bessere Bewertung zu erzielen. Dieser Prozess ist leistungsstark, aber er ist auch unglaublich schwerfällig. Er erfordert enorme Mengen an Rechenleistung, spezialisierte Hardware und ständige Kommunikation zwischen vielen Prozessoren, was ihn teuer und schwierig skalierbar für die größten Modelle macht.

Ein Team von Forschern von T-Tech und Yandex hat einen anderen Weg vorgeschlagen, der die schweren mathematischen Anpassungen gänzlich überspringt. Sie nennen ihre neue Methode ESSA, was für Evolutionary Strategies for Scalable Alignment steht. Anstatt zu berechnen, wie man das Modell in die richtige Richtung lenkt, behandelt ESSA das Modell wie einen lebenden Organismus in einer Simulation. Es erstellt viele leicht unterschiedliche Versionen des Modells, testet sie alle gleichzeitig, um zu sehen, welche am besten abschneidet, und behält dann die besten Merkmale bei, während der Rest verworfen wird. Dieser Ansatz eliminiert die Notwendigkeit der komplexen Rückwärtsberechnungen, die herkömmliche Methoden verlangsamen. Indem sie sich nur auf einen winzigen, spezifischen Teil der Einstellungen des Modells konzentrieren und eine Strategie verwenden, die die natürliche Selektion nachahmt, fanden die Forscher heraus, dass sie massive Modelle viel schneller und mit weit weniger Rechenleistung als bisher ausrichten konnten, wobei sie Ergebnisse erzielten, die den aktuellen Stand der Technik erreichen oder sogar übertreffen.

Der Kern der Idee hinter ESSA besteht darin, nicht mehr zu versuchen, jede einzelne Zahl innerhalb des Modells anzupassen. Große Sprachmodelle enthalten Milliarden dieser Zahlen, und alle gleichzeitig zu ändern, ist wie der Versuch, einen Supertanker zu steuern, indem man jede einzelne Schraube am Rumpf bewegt. Die Forscher erkannten, dass das Modell nach einer initialen Trainingsphase bereits die grundlegende Aufgabe beherrscht. Was es benötigt, ist ein Fine-Tuning, eine kleine Anpassung seines Verhaltens. Um dies zu erreichen, verwendeten sie eine Technik namens Low-Rank Adaptation, die eine kleine, flexible Schicht zum Modell hinzufügt, und brachen diese Schicht dann in ihre wesentlichensten Komponenten auf. Sie frierten die Richtung dieser Komponenten ein und erlaubten nur der Größe, oder Magnitude, weniger Schlüsselzahlen sich zu ändern. Dies reduzierte das Problem von der Anpassung von Milliarden von Variablen zur Anpassung von nur wenigen tausend, wodurch ein kompakter Raum entstand, in dem eine Suchstrategie effizient arbeiten konnte.

In diesem neuen Setup generiert der Computer eine Population von Kandidatenmodellen, die jeweils über leicht unterschiedliche Einstellungen für diese wenigen tausend Zahlen verfügen. Jeder Kandidat wird an einer Reihe von Problemen getestet, wie etwa dem Lösen von mathematischen Gleichungen oder dem Befolgen strenger Anweisungen, und erhält eine Punktzahl. Das System schaut sich dann die Punktzahlen an, um zu entscheiden, welche Kandidaten am erfolgreichsten waren. Anstatt Gradienten zu berechnen – komplexe mathematische Steigungen, die verwendet werden, um die beste Richtung für eine Bewegung zu finden –, wählt das System einfach die Gewinner aus und nutzt deren Einstellungen als Ausgangspunkt für die nächste Runde von Variationen. Dieser Prozess wiederholt sich, wobei die Population sich langsam zu einer besseren Leistung entwickelt. Da das System nur das Modell vorwärts durchlaufen lassen muss, um eine Punktzahl zu erhalten, kann es auf Computern laufen, die ein vereinfachtes, niedrigpräzises Zahlenformat verwenden, was noch mehr Speicherplatz und Geschwindigkeit spart.

Die Forscher testeten diese Methode bei einer Vielzahl von Aufgaben, darunter das Befolgen von Anweisungen, das Agieren als hilfreicher Assistent und das Lösen schwieriger mathematischer Probleme. Sie verglichen ESSA mit den führenden Methoden, die den traditionellen, schweren mathematischen Ansatz verwenden. Bei Aufgaben der mathematischen Argumentation schnitt ESSA so gut ab wie die besten existierenden Methoden, und in einigen Fällen war es signifikant schneller. Beispielsweise erreichte ESSA beim Training eines großen Modells auf einem Cluster von 128 leistungsstarken Grafikprozessoren ein bestimmtes Genauigkeitsziel fast achtmal schneller als die Standardmethode. Diese Beschleunigung kam nicht daher, dass ESSA weniger Beispiele zum Lernen benötigte, sondern weil jeder Schritt seines Prozesses viel leichter war und parallel ohne die Engpässe ausgeführt werden konnte, die den traditionellen Ansatz verlangsamen.

Die Studie untersuchte auch, wie gut diese Methode mit unterschiedlichen Größen von Modellen und verschiedenen Arten von Aufgaben funktioniert. Sie fanden heraus, dass ESSA auch dann effektiv blieb, wenn das Modell auf 72 Milliarden Parameter skaliert wurde – eine Größe, die normalerweise sehr schwierig effizient auszurichten ist. In diesen groß angelegten Tests konnte die Methode mit einem Kandidatenmodell pro Grafikprozessor laufen, eine Leistung, die mit der traditionellen Methode aufgrund von Speicherbeschränkungen unmöglich wäre. Die Forscher prüften auch, ob die Methode funktionierte, wenn das initiale Training zu einem anderen Thema durchgeführt wurde als das Endziel, wie etwa das Training auf allgemeiner Konversation bei der Testung auf strikte Regelfolgung. Die Methode hielt stand und zeigte, dass die evolutionäre Suche die richtigen Anpassungen finden konnte, selbst wenn sie von einer etwas anderen Grundlage ausging.

Eine der überraschendsten Erkenntnisse war, dass die Methode nicht die komplexen, fein abgestimmten Einstellungen erfordert, die traditionelle Methoden verlangen. Die Forscher testeten verschiedene Größen der Kandidatenpopulation und fanden heraus, dass eine moderate Anzahl meist ausreichte, um exzellente Ergebnisse zu erzielen. Sie entdeckten auch, dass die Methode robust gegenüber Änderungen der Menge der Modell-Einstellungen war, die verändert werden durften. Diese Stabilität deutet darauf darauf hin, dass der evolutionäre Ansatz weniger empfindlich auf die spezifischen Entscheidungen des Ingenieurs reagiert, was ihn in der Praxis einfacher zu verwenden macht. Darüber hinaus funktionierte die Methode auch dann gut, wenn der Computer eine geringere Präzision für seine Berechnungen verwendete, wobei sie nur einen winzigen Bruchteil an Genauigkeit verlor, während sie signifikante Geschwindigkeits- und Effizienzvorteile beim Speicher gewann.

Das Paper befasste sich auch damit, was passiert, wenn die Methode mit anderen Wegen verglichen wird, um die besten Einstellungen zu finden. Die Forscher testeten verschiedene Arten von evolutionären Strategien und fanden heraus, dass, obwohl einige am allerletzten Ende etwas besser waren, die spezifische Strategie, die sie wählten, am zuverlässigsten war, um schnell gute Ergebnisse zu erzielen. Sie verglichen ihre Methode auch mit einer Version, die versuchte, dieselben vereinfachten Einstellungen, aber mit dem traditionellen mathematischen Ansatz zu verwenden. Die evolutionäre Methode war konsistent besser als dieses Hybridmodell, was bewies, dass die Art und Weise, wie die Suche durchgeführt wurde, genauso wichtig war wie die durchsuchten Einstellungen selbst. Dies deutet darauf hin, dass die alte Idee, die natürliche Selektion zur Ausbildung von Maschinen zu nutzen, nicht nur ein Plan B ist, sondern eine leistungsstarke Alternative, die unter den richtigen Bedingungen herkömmliche Werkzeuge übertreffen kann.

Am Ende zeigt die Arbeit, dass die schwere, komplexe Maschinerie des modernen Alignments nicht der einzige Weg nach vorn ist. Durch die Vereinfachung des Problems auf eine Suche nach den besten Einstellungen innerhalb einer kleinen Gruppe von Kandidaten und durch die Nutzung der Kraft des parallelen Rechnens zeigten die Forscher, dass große Modelle schnell und effizient ausgerichtet werden können. Die Methode ersetzt nicht das initiale Training, das dem Modell sein grundlegendes Wissen verleiht, aber sie bietet einen neuen, leichteren Weg, dieses Wissen in einen hilfreichen Assistenten zu formen. Während Modelle immer größer werden, bietet dieser Ansatz einen praktischen Weg, sie ausgerichtet zu halten, ohne eine unmögliche Menge an Rechenleistung zu erfordern, was darauf hindeutet, dass die Zukunft des KI-Alignments in einfacheren, direkteren Strategien liegen könnte statt in zunehmend komplexen mathematischen Formeln.