Stellen Sie sich vor, Sie leiten eine riesige Talentshow, aber anstatt nur eines Richters haben Sie ein Gremium von Tausenden. In der Welt des maschinellen Lernens sind diese „Richter“ oft verschiedene Aufgaben oder Tests, die untersuchen, wie intelligent eine KI ist. Das Problem ist: Was, wenn sich jemand hundert identische Zwillinge unter die Richter schummelt? Oder was, wenn er tausend Richter mitbringt, die zu 9% identisch aussehen und sich gleich verhalten? Wenn Sie einfach jede Stimme der Richter gleich zählen, würden die Zwillinge die einzigartigen Stimmen übertönen, das Endergebnis verzerren und den Gewinner besser (oder schlechter) aussehen lassen, als er eigentlich ist. Dies ist das Problem des „Redundanz-Bias“. Wissenschaftler auf dem Gebiet der künstlichen Intelligenz und der Theorie der sozialen Wahl (Social Choice Theory) sorgen sich schon lange darüber, wie man diese Richter fair gewichten kann, wenn sie nicht alle einzigartig sind. Sie wissen, dass eine Gruppe sehr ähnlicher Objekte nicht die gleiche Gesamtmacht haben sollte wie eine Gruppe völlig unterschiedlicher Objekte; sie müssen sich das Rampenlicht teilen.

Dieses Paper, geschrieben von Damien Berriaud und Roger Wattenhofer, befasst sich mit der Frage, wie man faire „Gewichte“ für diese Objekte in einem mathematischen Raum zuweist, in dem Distanz „Ähnlichkeit“ bedeutet. Denken Sie an eine Methode, um sicherzustellen, dass das Hinzufügen eines Klons einer Aufgabe zu Ihrem Benchmark das System nicht verwirrt oder unfair verzerrt. Die Autoren schlagen eine neue Menge von Regeln, oder „Axiome“, vor, die jedes gute Gewichtungssystem befolgen sollte. Sie schlagen eine Methode namens „lokales Wählen“ (Local Voting) vor, bei der jeder Punkt im Raum eine Stimme für seine Nachbarn abgibt, und das endgültige Gewicht eine Berechnung dessen ist, wie viel „Stimmkraft“ ein Objekt ansammelt. Sie beweisen, dass diese Methode mathematisch für Standard-Geometrieräume (wie den 3D-Raum, in dem wir leben) funktioniert, und bieten einen Weg an, diese Gewichte mittels Zufallsstichproben zu berechnen, obwohl die exakte mathematische Berechnung unmöglich langsam wäre.

Die rote, die blaue und die indigofarbene Pille

Beginnen wir mit einer Szene aus einem Film, den Sie vielleicht kennen. Neo wird eine Wahl angeboten: eine blaue Pille, um in seinem normalen Leben aufzuwachen, oder eine rote Pille, um die Wahrheit zu sehen. Aber stellen Sie sich eine dritte Option vor: eine indigofarbene Pille, die ihn in derselben magischen Welt aufwachen lässt, aber mit einhundert Dollar in seiner Tasche. Dann bietet ihm Morpheus eine marineblaue Pille mit einer anderen Haarfarbe an, eine bordeauxrote, eine cyanfarbene und eine grüne Pille. Warum bietet er so viele Nuancen von Blau an? Weil, wenn man einfach die Pillen zählt, die Kategorie „Blau“ plötzlich viel wichtiger erscheinen lässt als die Kategorie „Rot“, obwohl sie alle nur Variationen derselben Idee sind.

Dies ist genau das Problem, das die Autoren lösen wollen. In der Welt der KI-Benchmarks (die wie Zeugnisse für Computerprogramme sind) kombinieren Forscher oft Ergebnisse aus vielen verschiedenen Aufgaben. Wenn ein Benchmark eine Aufgabe namens „CoLA“ enthält und dann zehn leicht unterschiedliche Versionen von „CoLA“ hinzufügt, würde ein einfacher Durchschnitt dazu führen, dass diese zehn Versionen 90 % der Bewertung ausmachen. Das ist unfair. Es ist, als ob ein Wahlsystem jede Mal eine neue Stimme zählen würde, wenn eine Person die Farbe ihres Hemdes wechselt. Die Autoren wollen ein System bauen, das sagt: „Hey, diese zehn Versionen sind im Grunde dieselbe Person; lasst sie das Gewicht unter sich aufteilen, damit sie die Wahl nicht dominieren.“

Die Regeln des Spiels

Um dies zu korrigieren, bauen die Autoren einen Spielplatz mit strengen Regeln auf, die sie „Axiome“ nennen. Betrachten Sie diese als die Naturgesetze für ihr neues Gewichtungssystem.

1. Positivität: Jeder bekommt eine Chance. Keiner Aufgabe wird jemals ein Gewicht von Null zugewiesen. Selbst die seltsamen, einsamen Aufgaben erhalten ein wenig Aufmerksamkeit.
2. Symmetrie: Wenn zwei Aufgaben perfekte Spiegelbilder voneinander sind (indistinguierbar durch die Regeln des Spiels), müssen sie exakt das gleiche Gewicht erhalten.
3. Klon-Fairness: Dies ist der entscheidende Punkt. Wenn Sie zwei Aufgaben haben, die fast identisch sind (wie die indigofarbene und die marineblaue Pille), sollten sie fast das gleiche Gewicht erhalten. Man kann das System nicht austricksen, indem man einen „Beinahe-Klon“ hinzufügt, um die ursprüngliche Aufgabe die Macht stehlen zu lassen.
4. Kontinuität: Wenn man eine Aufgabe nur ein winziges Stück verändert (wie etwa eine Testfrage leicht abändert), sollte ihr Gewicht nicht wild springen. Das System sollte glatt sein, nicht zittrig.
5. Lokale Stabilität: Wenn man einen neuen Klon zur Gruppe hinzufügt, sollte dies nur die Gewichte der Dinge beeinflussen, die direkt daneben liegen. Es sollte keine Kettenreaktion auslösen, die das Gewicht einer Aufgabe auf der anderen Seite des Raumes verändert.

Die Lösung des „Lokalen Wählens“

Wie berechnet man also tatsächlich diese Gewichte? Die Autoren schlagen eine clevere Idee namens Lokales Wählen vor.

Stellen Sie sich vor, Sie lassen eine Menge Kieselsteine (Ihre Aufgaben) auf ein riesiges, flaches Feld fallen. Stellen Sie sich nun vor, dass jeder Kieselstein einen „Einflussbereich“ um sich herum hat – eine Blase einer gewissen Größe. Wenn Sie irgendwo innerhalb dieser Blase stehen, sind Sie ein „Wähler“ für diesen Kieselstein.

Hier kommt der Clou: Wenn Sie an einem Ort stehen, an dem sich die Blasen von drei verschiedenen Kieselsteinen überschneiden, sind Sie ein Wähler für alle drei. Aber Sie haben nur eine einzige Stimme abzugeben. Also teilen Sie Ihre Stimme gleichmäßig unter ihnen auf. Wenn Sie in einer Blase stehen, in der nur ein einziger Kieselstein existiert, geben Sie diesem Kieselstein Ihre volle Stimme.

Das endgültige Gewicht eines Kieselsteins ist die gesamte Menge an „Stimmkraft“, die er aus der Stimme aller Wähler in seiner Nachbarschaft sammelt. Wenn ein Kieselstein von vielen Klonen umgeben ist, ist seine Blase überfüllt. Die Wähler in diesem überfüllten Bereich müssen ihre Stimmen auf viele ähnliche Kieselsteine aufteilen, sodass jeder von ihnen nur ein kleineres Stück vom Kuchen erhält. Wenn ein Kieselstein einzigartig und allein ist, erhält er alle Stimmen aus seinem Bereich.

Die Autoren haben mathematisch bewiesen, dass diese Methode des „Lokalen Wählens“ alle ihre Regeln erfüllt. Sie behandelt Klone fair, sie ist glatt, wenn sich Dinge leicht ändern, und sie lässt nicht zu, dass eine Gruppe von Klonen das gesamte System kapert.

Das mathematische Problem: Es ist schwer, aber wir haben einen Trick

Es gibt einen Haken. Die exakte Berechnung des Gewichts mit dieser Methode ist unglaublich schwierig. Stellen Sie sich vor, Sie versuchen, jeden einzelnen Punkt in einem 3D-Raum zu zählen, in dem sich drei Blasen überschneiden. In höheren Dimensionen (die KI oft verwendet) explodiert die Anzahl der überlappenden Regionen. Es ist, als würde man versuchen, jedes einzelne Sandkorn an einem Strand zu zählen, während die Flut kommt. Die Autoren geben zu, dass es wahrscheinlich unmöglich ist, die exakte Antwort schnell für große Probleme zu finden.

Aber keine Sorge! Sie haben uns nicht nur mit einem mathematischen Problem allein gelassen und sind dann weggegangen. Sie haben eine „Monte-Carlo-Methode“ entwickelt. Das ist eine schicke Art zu sagen: „Schätzen durch Stichproben“. Anstatt jeden einzelnen Wähler zu zählen, schließen Sie die Augen und wählen einige zufällige Punkte in den Blasen aus. Sie zählen, für wie viele Kieselsteine jeder zufällige Punkt stimmt, und das machen Sie tausende Male. Durch das Mitteln dieser zufälligen Vermutungen erhalten Sie eine sehr gute Schätzung des wahren Gewichts.

Das Paper zeigt, dass diese Stichprobenmethode schnell genug ist, um nützlich zu sein. Sie haben sogar genau aufgeschrieben, wie viele Stichproben Sie benötigen, um ein bestimmtes Maß an Genauigkeit zu erreichen. Wenn Sie zum Beispiel zu 99 % sicher sein wollen, dass Ihre Antwort innerhalb einer winzigen Fehlermarge liegt, müssen Sie die Simulation eine bestimmte Anzahl von Malen durchführen.

Was dies für die Zukunft bedeutet

Die Autoren sind vorsichtig darauf bedacht, nicht zu behaupten, sie hätten alle Probleme des Universums gelöst. Sie merken ausdrücklich an, dass ihre Methode perfekt für „euklidische Räume“ (die Art von Geometrie, die wir in der Schule lernen, wo Linien gerade und Kreise rund sind) funktioniert. Sie weisen darauf hin, dass, wenn man die Regeln der Geometrie ändert (zum Beispiel durch die Verwendung einer anderen Art, Distanz zu messen), ihr spezifischer „Lokales Wählen“-Trick die Symmetrie brechen könnte. Sie schlagen vor, dass wir für diese seltsamen, nicht-standardmäßigen Räume völlig neue Ideen benötigen könnten, die nicht von der Form des Raumes abhängen.

Sie räumen auch ein, dass ihre Methode zwar theoretisch fundiert ist, die „exakte“ Berechnung jedoch zu langsam für den praktischen Gebrauch ist, weshalb ihr Monte-Carlo-Trick so wichtig ist. Sie haben noch kein kommerzielles Produkt entwickelt, aber sie haben den mathematischen Bauplan und einen funktionierenden Prototyp dafür geliefert, wie man es macht.

Kurz gesagt: Dieses Paper liefert uns eine neue, faire Methode, um unsere KI-Tests zu gewichten. Es verhindert, dass die „Klon-Armee“ die Bestenliste übernimmt, und stellt sicher, dass jede einzigartige Idee die gebührende Anerkennung erhält, während ähnliche Ideen sich die Last teilen. Es ist ein Schritt in Richtung einer Sicherstellung, dass wenn wir sagen, eine KI sei „intelligent“, wir damit meinen, dass sie tatsächlich intelligent ist, und nicht nur, dass sie gut darin ist, dieselbe Frage tausendmal zu beantworten.