Human Preference aligned Tabular Similarity
Dieses Paper argumentiert, dass aktuelle Methoden für Tabellen-Embeddings, die auf Vorhersageaufgaben optimiert sind, die Übereinstimmung mit menschlichen Präferenzen für die Ähnlichkeitssuche verfehlen, und schlägt ein neues Evaluierungsverfahren vor, um diese Lücke unter Verwendung eines Product Lifecycle Management (PLM) Anwendungsfalls zu schließen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie gehen durch eine riesige, magische Bibliothek, in der jedes Buch eigentlich eine Tabellenkalkulation aus Zahlen und Wörtern ist. In dieser Bibliothek gibt es Roboter, deren Aufgabe es ist, Bücher zu finden, die dem Buch, das Sie gerade in der Hand halten, „ähnlich“ sind. Wenn Sie ein Buch über das „Reparieren eines defekten Toasters“ aufheben, sollte der Roboter Ihnen andere Bücher über Toasterreparaturen überreichen und nicht Bücher über das Backen von Kuchen oder das Autofahren. Dies ist die Welt der tabellarischen Daten – die organisierten Gitter von Informationen, die unsere Unternehmen, Krankenhäuser und Fabriken am Laufen halten. Die Roboter verwenden etwas, das man Embeddings nennt, welche wie unsichtbare magnetische Codes funktionieren, die jede Zeile der Daten in einen Punkt in einem riesigen, mehrdimensionalen Raum verwandeln. Je näher zwei Punkte beieinander liegen, desto ähnlicher hält der Roboter die Daten.
Lange Zeit haben Wissenschaftler diese Roboter darauf trainiert, richtig gut darin zu werden, die Antwort auf eine spezifische Frage zu erraten, wie zum Beispiel: „Wird dieses Teil kaputtgehen?“ oder „Was ist der Preis?“. Aber hier liegt der Haken: Gut darin zu sein, eine Antwort zu erraten, bedeutet nicht zwangsläufig, dass man auch gut darin ist, Dinge zu finden, die sich für einen Menschen „ähnlich anfühlen“. Ein Roboter könnte denken, zwei Teile seien Zwillinge, weil sie beide die Zahl „5“ enthalten, obwohl ein menschlicher Ingenieur weiß, dass das eine eine Schraube und das andere ein Bolzen ist. Diese Arbeit stellt eine sehr wichtige Frage: Wie stellen wir sicher, dass diese Roboter Dinge finden, die für die verschiedenen Menschen, die sie nutzen – wie Ingenieure, Fabrikarbeiter oder Einkäufer –, tatsächlich Sinn ergeben?
Das Problem: Wenn Roboter den „Vibe“ falsch verstehen
Die Autoren dieser Arbeit, die mit einem Unternehmen zusammenarbeiten, das Software für das Management von Produktlebenszyklen entwickelt, bemerkten eine große Lücke. Sie stellten fest, dass Roboter zwar immer besser darin werden, Tabellen von Daten in diese unsichtbaren magnetischen Codes zu verwandeln, wir aber keinen guten Weg haben, um zu überprüfen, ob diese Codes mit dem übereinstimmen, was Menschen tatsächlich wichtig ist.
Stellen Sie sich vor, Sie bitten einen Roboter, „ähnliche“ Änderungsanfragen für ein neues Autoteil zu finden. Ein Ingenieur könnte sagen: „Diese sind ähnlich, weil sie beide mit dem Kühlsystem des Motors zu tun haben.“ Ein Fabrikarbeiter könnte sagen: „Nein, diese sind ähnlich, weil sie beide dieselbe Schweißmaschine erfordern.“ Ein Einkäufer könnte sagen: „Diese sind ähnlich, weil sie vom selben Lieferanten stammen.“
Die Arbeit argumentt, dass die derzeitigen Methoden, um diese Roboter zu testen, so sind, als würde man einen Schüler nur nach seinen Mathe-Testergebnissen bewerten, obwohl der Schüler versucht, ein Dichter zu werden. Die Standardtests messen, ob der Roboter eine Zahl oder eine Kategorie korrekt vorhersagen kann, aber sie fragen nicht: „Fand der menschliche Nutzer das Ergebnis nützlich?“ Die Autoren schlagen vor, dass wir im Blindflug unterwegs sind, wenn wir nicht die Menschen fragen, was sie denken. Wir könnten einen Roboter haben, der technisch perfekt in Mathe ist, aber schrecklich darin, menschliche Bedürfnisse zu verstehen.
Die Lösung: Ein „Geschmackstest“ für Daten
Um dies zu beheben, schlagen die Autoren einen neuen Workflow vor, der ein wenig wie ein Blindverkostungstest für Lebensmittel klingt, aber eben für Daten. Anstatt einfach nur den Roboter laufen zu lassen und auf das Beste zu hoffen, schlagen sie einen dreistufigen Prozess vor, um menschliches Feedback zu erhalten:
- Das Setup: Zuerst erstellt der Roboter seine magnetischen Codes für alle Daten und speichert diese.
- Die Auswahl: Ein menschlicher Nutzer wird ein bestimmtes Objekt (den „Anker“) gezeigt, wie zum Beispiel ein bestimmtes Teil oder ein Ticket. Der Roboter ruft dann eine Liste von Objekten ab, von denen er glaubt, dass sie die engsten Übereinstimmungen sind.
- Die Abstimmung: Der Mensch betrachtet das Originalobjekt und einen der Vorschläge des Roboters nebeneinander. Er gibt dann eine Bewertung ab: „Identisch“, „Ähnlich“, „Leicht ähnlich“ oder „Nicht ähnlich“.
Dies ist keine einmalige Sache. Die Autoren schlagen vor, dies immer wieder zu tun und tausende dieser „Stimmen“ zu sammeln. Dies erstellt eine Karte davon, was verschiedene Gruppen von Menschen tatsächlich als ähnlich betrachten.
Was sie herausfanden: Jeder sieht die Welt anders
Um ihre Idee zu testen, führte das Team eine kleine Pilotstudie durch. Sie nahmen eine Liste von 20 verschiedenen „Tickets“ (wie Anfragen für Hilfe oder Änderungen) und baten drei verschiedene Personen, die obersten 6 Übereinstimmungen, die der Roboter fand, für jedes Ticket zu bewerten.
Die Ergebnisse waren augenöffnend. Von 120 Paaren von Objekten stimmten sich die drei Personen bei 63 Paaren (was 52,5 % entspricht) in der Bewertung überein. In 52 Paaren (43,3 %) stimmten sich zwei Personen überein, während die dritte widersprach. Und in 5 Paaren (4,2 %) gaben alle drei Personen unterschiedliche Bewertungen ab!
Dies beweist, dass „Ähnlichkeit“ kein einzelner, fester Fakt ist. Sie hängt völlig davon ab, wer man ist. Ein Ingenieur sieht vielleicht ein Muster, das ein Einkäufer übersieht, und umgekehrt.
Das Team testete dann 10 verschiedene Roboter-Algorithmen, um zu sehen, welcher am besten darin war, die Wünsche dieser Menschen zu erraten. Hier ist die Wendung: Es gab keinen einzelnen „Gewinner“.
- Für Annotator 1 und Annotator 3 war Algorithmus 7 der beste.
- Aber für Annotator 2 war Algorithmus 4 der beste.
Noch interessanter war, dass der Unterschied zwischen dem „besten“ und dem „zweitbesten“ für Annotator 2 winzig war – nur ein einziges Triplet (eine Gruppe von drei Objekten) von 165. Dies deutet darauf darauf hin, dass es mit einer so geringen Anzahl an Stimmen schwierig ist, zu 100 % sicher zu sein, welcher Roboter wirklich besser ist. Die Autoren weisen darauf hin, dass wir mehr Daten benötigen, um sicher zu sein, aber die Hauptbotschaft ist klar: Einheitslösungen funktionieren nicht. Ein Roboter, der perfekt für einen Ingenieur ist, kann für einen Einkäufer nutzlos sein.
Warum das für Vertrauen wichtig ist
Die Arbeit kommt zu dem Schluss, dass wir für eine wirklich vertrauenswürdige KI nicht nur auf die interne Mathematik des Roboters vertrauen können. Wir müssen ein System aufbauen, in dem Menschen die Arbeit des Roboters ständig überprüfen können.
Sie heben vier Hauptvorteile dieses Ansatzes hervor:
- Fairness: Es stellt sicher, dass der Roboter verschiedene Gruppen von Menschen (wie Ingenieure vs. Einkäufer) fair behandelt, anstatt eine Perspektive zu bevorzugen.
- Transparenz: Es ermöglicht den Menschen zu sehen, warum der Roboter ein bestimmtes Objekt ausgewählt hat, was die „Black Box“ ein wenig weniger dunkel macht.
- Robustheit: Es hilft dabei, unordentliche Daten zu finden, wie Duplikate oder verwirrende Kategorien, die der Roboter möglicherweise falsch interpretiert.
- Rechenschaftspflicht: Es schafft eine Dokumentation menschlicher Entscheidungen, was entscheidend ist, wenn die KI in einer regulierten Branche einen Fehler macht.
Die Autoren geben zu, dass es harte Arbeit ist und Zeit kostet, Menschen dazu zu bewegen. Sie behaupten nicht, das Problem bereits perfekt gelöst zu haben. Stattdessen rufen sie die wissenschaftliche Gemeinschaft dazu auf, diese „menschlichen Geschmackstests“ als Standardteil beim Bau von KI zu etablieren. Sie argumenten, dass Vertrauen nicht etwas ist, das man einmal in den Code einbaut; es ist etwas, das man aufbaut, indem man den Menschen, die das System nutzen, ständig zuhört.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.