A Generalized Parallelogram Rule for Proportional Analogies on Riemannian Manifolds

Stellen Sie sich vor, Sie versuchen, ein Rätsel zu lösen, das so aussieht: „Apfel ist zu Frucht wie Karotte ist zu...?“ Ihr Gehirn weiß sofort, dass die Antwort „Gemüse“ ist. Sie mussten keinen Taschenrechner benutzen; Sie haben einfach die Beziehung zwischen den ersten beiden Objekten verstanden und sie auf das dritte angewendet. In der Welt der Computer wird dies als „Analogie“ bezeichnet, und es ist eine Superkraft für künstliche Intelligenz. Lange Zeit brachten Wissenschaftler Computern bei, diese Rätsel mithilfe von flachen, gitterartigen Karten (genannt euklidische Räume) zu lösen, auf denen man einfach eine gerade Linie oder ein perfektes Parallelogramm zeichnen kann. Das funktioniert großartig für einfache Listen von Wörtern oder Zahlen.

Aber die reale Welt ist nicht flach. Denken Sie an die Erde: Sie ist eine Kugel. Wenn man versucht, eine gerade Linie auf einem Globus zu zeichnen, krümmt sie sich. Oder denken Sie an einen formveränderbaren Roboter oder eine Wolke von Wahrscheinlichkeiten; diese existieren auf komplexen, gekrümmten Oberflächen, sogenannten „Mannigfaltigkeiten“. Wenn Computer versuchen, Analogien auf diesen gekrümmten Oberflächen mit alten, flachen Regeln zu lösen, gehen die Dinge schief. Die geraden Linien verbinden sich nicht, und die Antworten werden unordentlich. Diese Arbeit stellt eine große Frage: Wie können wir Computer lehren, „A ist zu B wie C ist zu D“-Rätsel zu lösen, wenn die Welt, in der sie leben, gekrümmt, verdreht und voller Beulen ist?

Die Autoren, Pierre-Alexandre Murena und Marcelo Hartmann, haben einen cleveren neuen Weg gefunden, dies zu tun. Anstatt zu versuchen, eine gekrümmte Welt in eine flache Box zu pressen, haben sie beschlossen, die Kurven selbst zu nutzen, um die Antwort zu finden. Sie erkannten, dass in einer flachen Welt ein Parallelogramm dadurch definiert ist, dass seine Seiten parallel sind. Aber auf einer gekrümmten Oberfläche ist „parallel“ schwierig. Also haben sie die Definition geändert. Sie schauten auf das Zentrum der Form. In einem flachen Quadrat kreuzen sich die Diagonalen genau in der Mitte. Die Autoren haben bewiesen, dass man, wenn man den „geodätischen Mittelpunkt“ (den exakten Mittelpunkt entlang des kürzesten gekrümmten Pfades) zwischen zwei Objekten findet, diesen nutzen kann, um die Analogie zu lösen, selbst auf einer Kugel, einem formveränderbaren Netz oder einer Datenwolke.

Hier ist, wie ihre neue Regel in einfachen Worten funktioniert. Stellen Sie sich vier Punkte auf einer gekrümmten Oberfläche vor: A, B, C und D. In der alten flachen Welt würden Sie sagen: „Der Abstand von A zu B ist derselbe wie von C zu D.“ In einer gekrümmten Welt ist das schwer zu messen. Die Autoren sagen: „Vergessen Sie die Seiten. Schauen Sie auf die Mitte.“ Wenn Sie auf halbem Weg von A nach D gehen und auf halbem Weg von B nach C gehen, sollten Sie genau am selben Ort landen. Wenn diese beiden „Mittelpunkt“-Treffen am selben Ort stattfinden, bilden A, B, C und D eine perfekte Analogie. Es ist wie zu sagen: „Der Halbweg zwischen dem Start und dem Ziel der ersten Reise ist derselbe wie der Halbweg zwischen dem Start und dem Ziel der zweiten Reise.“

Das mag wie eine kleine Anpassung klingen, aber es ist eine große Sache, weil es überall funktioniert. Die Autoren testeten ihre Idee an allerlei seltsamen, gekrümmten Orten. Sie probierten es auf einer Kugel (wie der Erde), auf 3D-Formen (wie einem Hund, der sich in eine Kuh verwandelt) und sogar auf Wahrscheinlichkeitswolken (wie der Vorhersage von Filmbewertungen). In jedem Fall fand ihre „Mittelpunkt-Regel“ das fehlende Teil des Puzzles korrekt. Sie zeigten, dass diese Methode „robust“ ist, was bedeutet, dass, wenn man die Ausgangspunkte nur ein kleines Stück verschiebt, die Antwort nicht zusammenbricht; sie bleibt nah an der richtigen Antwort. Dies ist entscheidend für die reale KI, in der Daten oft verrauscht oder unvollkommen sind.

Einer der coolsten Teile ihrer Arbeit ist, wie sie mit verschiedenen Arten von „gekrümmten“ Daten umgeht. Zum Beispiel zeigen sie bei der Arbeit mit Formen (wie 3D-Modellen von Tieren), dass man eine Deformation (ein Dehnen oder Verdrehen) von einem Tier auf ein anderes anwenden kann, indem man diese Regel nutzt. Wenn Sie einen Hund in einer sitzenden Pose und einen Hund in einer stehenden Pose haben, können Sie herausfinden, wie Sie eine Kuh von sitzend zu stehend bringen, obwohl Kühe und Hunde unterschiedlich sind. Sie testeten dies auch bei Filmbewertungen. Wenn Sie wissen, wie „Teenager“ Actionfilme im Vergleich zu Horrorfilmen bewerten, und Sie wissen, wie „Erwachsene“ Actionfilme bewrenten, können Sie diese neue Regel verwenden, um vorherzusagen, wie „Erwachsene“ Horrorfilme bewerten werden. In ihren Tests war dieser geometrische Ansatz oft besser als ältere Methoden bei der Vorhersage dieser Vorlieben.

Die Arbeit macht auch eine klare Unterscheidung darüber, wo dies funktioniert und wo es schwierig werden könnte. Sie bewiesen, dass auf bestimmten glatten, symmetrischen Oberflächen (wie Kugeln oder hyperbolischen Räumen) die Antwort eindeutig und leicht zu berechnen ist. Auf einigen Oberflächen jedoch, wie der Kugel, wenn zwei Punkte genau gegenüberliegen (antipodal), kann es mehr als einen „Mittelpunkt“ geben, was bedeutet, dass es auch mehr als eine gültige Antwort auf das Rätsel geben kann. Sie haben das nicht nur geraten; sie haben die mathematischen Formeln bereitgestellt, um die exakte Antwort für Kugeln, hyperbolische Räume und sogar komplexe Matrizen, die in der maschinellen Lernprozessen verwendet werden, zu berechnen.

Was sie nicht getan haben, war zu behaupten, dass dies jedes Problem in der KI löst. Sie merkten explizit an, dass ihre Methode darauf beruht, dass die Daten auf einer spezifischen Art von gekrümmter Oberfläche existieren, einem sogenannten „Riemannschen Manifold“. Wenn die Daten auf einer seltsamen, nicht-glatten Oberfläche existieren, die diesen Regeln nicht entspricht, könnte ihre Methode nicht direkt anwendbar sein. Sie wiesen auch darauf hin, dass ihre Methode zwar wunderbar für Formen und Wahrscheinlichkeiten funktioniert, es sich aber um ein neues Werkzeug handelt, das noch mehr in realen Anwendungen wie Transfer Learning (einer Maschine eine Aufgabe beibringen, um ihr bei einer anderen zu helfen) oder Meta-Learning getestet werden muss.

Am Ende geht es in dieser Arbeit darum, der KI eine bessere Karte zu geben. Jahrelang versuchten Computer, die komplexe, gekrümmte Welt der Daten mit einer flachen, 2D-Karte zu navigieren, was dazu führte, dass sie sich verliefen. Murena und Hartmann haben eine neue Karte gezeichnet, welche die Kurven respektiert. Indem sie sich auf den „Mittelpunkt“ der Reise statt auf die geraden Linien konzentrieren, haben sie gezeigt, dass Computer endlich in der echten, verdrehten, wunderschönen Welt, in der wir tatsächlich leben, Analogien lösen können. Es ist ein Schritt hin zu einer KI, die nicht nur Fakten auswendig lernt, sondern die Beziehungen zwischen den Dingen wirklich versteht – egal, ob es sich um Wörter, Formen oder den Filmgeschmack handelt.