A Jury, Not an Electorate: Label-Free Reliability Estimation for Ensembles of Language Models

In der sich schnell entwickelnden Welt der künstlichen Intelligenz greifen Forscher oft auf eine Strategie namens „Ensemble-Learning“ zurück, um schwierige Probleme zu lösen. Anstatt sich auf ein einziges, massives Computerprogramm zu verlassen, das die richtige Antwort findet, versammeln sie eine Gruppe verschiedener Programme, von denen jedes auf unterschiedlichen Daten trainiert wurde oder über unterschiedliche Stärken verfügt, und bitten sie alle, dieselbe Aufgabe zu bearbeiten. Die Hoffnung ist, dass, während ein Programm vielleicht stolpert, ein anderes Erfolg hat, und indem sie ihre Bemühungen kombinieren, die Gruppe ein Maß an Genauigkeit erreichen kann, das kein einzelnes Mitglied allein erreichen könnte. Eine beständige Herausforderung bestand jedoch darin, zu entscheiden, welchem Mitglied der Gruppe man vertrauen soll, wenn sie sich uneinig sind. Traditionelle Methoden funktionieren oft wie eine Wahl, bei der jedes Modell eine Stimme erhält und die gewählte Antwort einfach diejenige ist, die die meiste Unterstützung erhält. Dieser Ansatz geht davon aus, dass die kollektive Weisheit der Gruppe in der Mehrheit zu finden ist, ignoriert aber die Möglichkeit, dass die populärste Antwort falsch sein könnte oder dass ein leiserer, zuverlässigerer Experte von einem lauteren, weniger genauen Teilnehmer übertönt wird.

Eine neue Studie schlägt einen anderen Weg vor, wie man dieses Problem denken kann, indem sie vorschlägt, dass eine Gruppe von Modellen der künstlichen Intelligenz nicht als Wählerschaft, sondern als Geschworenenjury behandelt werden sollte. In einem Gerichtssaal zählt eine Jury nicht einfach, wie viele Menschen mit einem Urteil übereinstimmen; stattdessen hören sie der Aussage jedes Zeugen zu und versuchen zu beurteilen, wer glaubwürdig ist, basierend darauf, was sie sagen und wie ihre Geschichten zusammenpassen. Die Forscher hinter dieser Arbeit fragten sich, ob eine Gruppe von Sprachmodellen dasselbe tun könnte: die Zuverlässigkeit jedes Mitglieds allein aus dem Muster ihrer Antworten abzuleiten, ohne die korrekten Antworten im Voraus kennen zu müssen. Sie bauten ein System, in dem die Modelle als Zeugen fungieren, und das System lernt, denen zu vertrauen, deren Aussage konsistent mit der Wahrheit übereinstimmt, obwohl das System die Wahrheit selbst nie sieht.

Die Forscher testeten diese Idee an einem Benchmark von 1.560 Fragen, die ein breites Spektrum von Themen abdecken, von Mathematik und Naturwissenschaften bis hin zu Recht und allgemeiner Logik. Sie versammten neun verschiedene Sprachmodelle, die sich in Größe und Training unterschieden, um als Experten zu dienen. In einem Standard-Setup würden diese Modelle eine Reihe von Fragen erhalten, und ihre Antworten würden mittels einer einfachen Mehrheitsentscheidung oder eines gewichteten Durchschnitts kombiniert, wobei die Gewichte durch die Leistung der Modelle auf einem separaten Satz von Fragen mit bekannten Antworten bestimmt werden. Die neue Methode überspringt jedoch den Schritt, die korrekten Antworten zu betrachten, um Vertrauen zu bestimmen. Stattdessen nutzt sie einen mathematischen Prozess, um die Antworten zu analysieren, die die Modelle zu den ihnen gestellten Fragen gegeben haben. Indem das System betrachtet, welche Modelle untereinander übereinstimmten und welche sich widersprachen, schätzt es, wie zuverlässig jedes Modell ist. Es behandelt die korrekte Antwort als eine verborgene Tatsache, die die Modelle zu berichten versuchen, und berechnet die Wahrscheinlichkeit, mit der jedes Modell die Wahrheit sagt, basierend auf der Konfiguration der Antworten der Gruppe.

Die Ergebnisse dieses Experiments waren bemerkenswert. Das jurysystem, das lernte, seinen Mitgliedern zu vertrauen, ohne jemals eine einzige korrekte Antwort gesehen zu zu haben, erreichte eine Genauigkeit von 76,9 Prozent im vollständigen Benchmark. Diese Leistung war signifikant besser als eine einfache Mehrheitsentscheidung, die 63,0 Prozent erreichte, und übertraf auch das beste einzelne Modell in der Gruppe, das 75,0 Prozent erreichte. Vielleicht am wichtigsten ist, dass die Jury genauso gut abschnitt wie ein System, das dieselben Kombinationsregeln verwendete, aber mit den korrekten Antworten trainiert wurde, um die Gewichte zu bestimmen. Dieser Befund deutet darauf an, dass der komplexe Prozess der Kennzeichnung von Daten, um einem System beizubringen, welchen Modellen es vertrauen soll, nicht zwingend erforderlich ist; das System kann lernen, den richtigen Zeugen zu vertrauen, indem es einfach nur zuhört, was sie sagen. Die Studie fand auch heraus, dass die Beibehaltung des vollen Spektrums der möglichen Antworten, die ein Modell geben könnte, anstatt nur seiner Top-Wahl, die Ergebnisse signifikant verbesserte. Als das System die Wahrscheinlichkeitsverteilung der Antworten berücksichtigte, gewann es zusätzliche 8,4 Prozentpunkte gegenüber einer einfachen Abstimmung, und die korrekte Gewichtung der Experten steuerte weitere 5,5 Punkte bei.

Die Forscher waren sorgfältig dabei, die Idee auszuschließen, dass dieser Erfolg lediglich auf mehr Daten oder bessere Sampling-Techniken zurückzuführen sei. Sie verglichen ihre Methode mit mehreren anderen fortgeschrittenen Techniken, die ebenfalls versuchen, Modelle ohne Labels zu kombinieren, und die Jury schnitt konsequent besser ab. Beispielsweise schlug sie die stärkste alternative label-freie Methode um 5,5 Prozentpunkte. Die Studie untersuchte auch, ob das System einfach nur Glück hatte oder ob es tatsächlich die richtigen Muster lernte. Sie testeten die Jury an verschiedenen Teilmengen der Modelle und fanden heraus, dass sie sowohl die gleichgewichtete Abstimmung als auch den besten einzelnen Experten in fast allen Kombinationen konsequent übertraf. Der einzige Fall, in dem die Jury nicht besser als das beste einzelne Modell abschnitt, war, wenn die Gruppe aus sehr schwachen Experten bestand – ein Szenario, in dem keine Kombinationstechnik realistischerweise helfen könnte.

Einer der bedeutendsten Aspekte dieser Arbeit ist, dass sie die Annahme infrage stellt, dass Aufsicht (Supervision) immer erforderlich ist, um die besten Ergebnisse zu erzielen. In vielen Bereichen der künstlichen Intelligenz ist die Standardpraxis, ein System auf einem großen Datensatz zu trainieren, bei dem die korrekten Antworten bekannt sind, damit das System lernen kann, welche Modelle gut sind. Dieser neue Ansatz zeigt, dass für die Kombination von Modellen das System die Zuverlässigkeit direkt aus der Übereinstimmung und Uneinigkeit der Modelle selbst ableiten kann. Die Forscher fanden heraus, dass der Unterschied zwischen der Jury und dem überwachten System so gering war, dass er unter Berücksichtigung der natürlichen Variation in der Anpassung der Modelle statistisch nicht signifikant war. Dies impliziert, dass der zusätzliche Aufwand der Datenkennzeichnung, um die Kombinationsregel zu trainieren, in vielen Fällen nicht rentabel sein könnte.

Die Studie untersuchte auch, wie das System mit Unsicherheit umgeht. Wenn die Modelle gebeten werden, Antworten zu generieren, produzieren sie oft eine Bandbreite an Möglichkeiten anstatt einer einzigen definitiven Aussage. Die Jury-Methode nutzt diese vollständigen Verteilungen der Antworten, was es ihr ermöglicht, nuancierter vorzugehen als eine einfache Abstimmung. Zum Beispiel, wenn ein Modell sehr sicher in einer falschen Antwort ist, während ein anderes etwas weniger sicher in der richtigen Antwort ist, kann das System die Beweise angemessen gewichten. Die Forscher fanden heraus, dass dieser Ansatz besonders effektiv bei mathematischen Problemen war, bei denen das beste einzelne Modell der Gruppe Schwierigkeiten hatte, die Jury jedoch in der Lage war, die Stärken anderer Modelle zu nutzen, um die korrekte Lösung zu erreichen.

Obwohl die Methode leistungsstark ist, merkten die Forscher auch einige Einschränkungen an. Das System setzt voraus, dass jedes Modell in der Gruppe eine Antwort liefert, und für generative Aufgaben muss es mehrere Stichproben durchführen, um eine zuverlässige Verteilung der Antworten aufzubauen. Dies erhöht die Rechenkosten im Vergleich dazu, einfach nur ein Modell nach einer Antwort zu fragen. Die Studie legt jedoch nahe, dass diese Kosten durch den signifikanten Gewinn an Genauigkeit gerechtfertigt sind. Die Forscher beobachteten auch, dass die Zuversicht (Confidence) des Systems bei seinen Antworten oft höher war als seine tatsächliche Genauigkeit, was bedeutet, dass es sich manchmal sehr sicher einer falschen Antwort war. Dies ist ein häufiges Problem in der künstlichen Intelligenz, und die Forscher merkten an, dass das System kalibriert werden müsste, bevor seine Konfidenzwerte als zuverlässiges Maß für die Wahrheit verwendet werden könnten.

Letztendlich bietet diese Forschung eine neue Perspektenz darauf, wie wir die kollektive Intelligenz der künstlichen Intelligenz nutzen können. Indem wir Modelle als eine Jury statt als eine Wählerschaft behandeln, können wir Systeme bauen, die klüger sind als die Summe ihrer Teile, ohne die Antworten im Voraus kennen zu müssen. Die Fähigkeit, Vertrauen allein aus Zeugenaussagen zu lernen, öffnet die Tür zu effizienteren und anpassungsfähigeren Wegen der Nutzung künstlicher Intelligenz, bei denen das System seine Erkenntnis darüber, auf welche Experten es sich verlassen muss, kontinuierlich verfeinern kann, während es auf neue Probleme stößt. Die Ergebnisse legen nahe, dass der Schlüssel zur Entfaltung des vollen Potenzials dieser Gruppen nicht darin liegt, sie zur Einigkeit zu zwingen, sondern darin, ihnen beizubringen, einander zuzuhören und die Glaubwürdigkeit ihrer eigenen Stimmen zu beurteilen.