Unbiased mixed variables distance
Diese Arbeit befasst sich mit der Verzerrung in bestehenden Distanzmaßen für gemischte Variablen, die durch unterschiedliche Variablentypen und Skalen verursacht wird, indem sie relevante Konzepte zur Quantifizierung solcher Verzerrungen definiert und eine allgemeine Formulierung für die Konstruktion unverzerrter Distanzen vorschlägt, bei denen die Beiträge der einzelnen Variablen unabhängig von Messtypen oder Einheiten sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen zu messen, wie unterschiedlich zwei Personen voneinander sind. Sie haben eine Liste von Merkmalen: ihre Körpergröße (eine Zahl), ihre Lieblingsfarbe (eine Kategorie), ihr Alter (eine Zahl) und ihre Berufsbezeichnung (eine Kategorie).
In der Welt der Datenwissenschaft wird dies als ein „Mixed Variable“-Problem bezeichnet. Sie versuchen, Äpfel (Zahlen) und Orangen (Kategorien) zu einem einzigen Fruchtsalat der „Differenz“ zu vermischen.
Das Paper von Van de Velden und Kollegen argumentiert, dass die Standardrezepte für die Herstellung dieses Salats voreingenommen sind. Sie neigen dazu, die Orangen viel stärker schmecken zu lassen als die Äpfel – oder umgekehrt –, einfach nur aufgrund der Art und Weise, wie die Zutaten gemessen werden, und nicht, weil eines der Merkmale tatsächlich wichtiger ist als das andere.
Hier ist eine einfache Aufschlüsselung ihrer Argumentation und Lösung:
1. Das Problem: Der „Lautstärkeregler“ ist kaputt
Wenn wir berechnen, wie weit zwei Personen „auseinanderliegen“, addieren wir normalerweise die Differenzen für jedes Merkmal auf.
- Das Problem: Wenn Sie die Körpergröße in Metern messen, beträgt die Differenz vielleicht 0,5. Wenn Sie sie in Millimetern messen, beträgt die Differenz 500. Wenn Sie eine Berufsbezeichnung mit 50 Optionen haben, könnte die „Distanz“ zwischen den Titeln im Vergleich zu einer Farbe mit nur 3 Optionen riesig sein.
- Die Voreingenommenheit (Bias): Das Paper zeigt, dass Standardmethoden (wie die berühmte „Gower-Distanz“) versehentlich die Lautstärke bei kategorialen Variablen (wie Berufsbezeichnungen oder Farben) aufdrehen und die Lautstärke bei numerischen Variablen (wie Körpergröße oder Gehalt) leiser drehen. Es ist, als würde man versuchen, ein Flüstern mit einem Schrei zu vergleichen, nur weil die Mikrofoneinstellungen unterschiedlich sind. Das Ergebnis ist kein wahres Maß für den Unterschied, sondern ein Maß dafür, wie die Daten formatiert wurden.
2. Die zwei Regeln für eine faire Mischung
Um dies zu beheben, schlagen die Autoren zwei Regeln für einen „fairen“ Distanzrechner vor:
Regel Nr. 1: Additivität (Die Summe der Teile)
Stellen Sie sich vor, Sie bauen einen Turm aus Blöcken. Die Gesamthöhe des Turms sollte einfach die Summe der Höhen der einzelnen Blöke sein. Das Paper besteht darauf, dass die gesamte „Distanz“ zwischen zwei Personen einfach die Summe der Differenzen für jedes spezifische Merkmal sein sollte. Keine ausgeklügelten Quadratwurzeln oder versteckten mathematischen Operationen, die verändern, wie viel jeder Block zählt.Regel Nr. 2: Kommensurabilität (Die „Äpfel-mit-Äpfeln“-Regel)
„Kommensurabel“ bedeutet, dass Dinge auf derselben Skala messbar sind.- Die Analogie: Stellen Sie sich vor, Sie bezahlen eine Rechnung. Sie haben einen Haufen Pfennige und einen Haufen Dollar Scheine. Wenn Sie einfach nur die Anzahl der Münzen und Scheine zählen, ohne sie in Dollar umzurechnen, werden die Pfennige scheinbar viel mehr zählen als die Dollar.
- Die Lösung: Sie müssen alles in eine Standardeinheit umwandeln (wie den „Durchschnittsdifferenzwert“). Das Paper fordert, dass im Durchschnitt jedes einzelne Merkmal (ob es eine Zahl oder eine Kategorie ist) den gleichen Betrag zur Gesamtdistanz beiträgt. Wenn eine Berufsbezeichnung 50 Optionen hat, sollten wir nicht einfach „unterschiedlich = 1“ zählen. Wir müssen die Mathematik so anpassen, dass das „Gewicht“ dieser Berufsbezeichnung dem Gewicht einer Körpergrößen-Differenz entspricht.
3. Die Lösung: Das „Fairness-Gewicht“
Die Autoren liefern eine allgemeine Formel, um dies zu korrigieren. Betrachten Sie es als eine intelligente Waage.
- Wie es funktioniert: Bevor die Differenzen addiert werden, betrachtet die Waage jedes Merkmal. Sie fragt: „Wie stark verändert sich dieses Merkmal im Durchschnitt?“
- Die Anpassung: Wenn sich eine Variable normalerweise stark verändert (wie eine Berufsbezeichnung mit 50 Optionen), legt die Waage ein sehr geringes Gewicht darauf. Wenn sich eine Variable normalerweise kaum verändert (wie eine Farbe mit nur 3 Optionen), legt die Waage ein hohes Gewicht darauf.
- Das Ergebnis: Wenn man sie schließlich alle zusammenzählt, erhält jedes Merkmal eine gleichberechtigte Stimme. Die Distanz ist nun „unvoreingenommen“. Es spielt keine Rolle, ob die Daten eine Zahl oder ein Wort sind; die Mathematik stellt sicher, dass sie gleichermaßen beitragen.
4. Die Theorie testen
Die Autoren haben nicht nur eine Theorie aufgestellt; sie haben sie getestet.
- Die Simulation: Sie erstellten künstliche Daten mit einem verborgenen „wahren“ Muster (wie einer geheimen Form). Dann versuchten sie, diese Form mit verschiedenen Distanzmethoden zu finden.
- Die alten, voreingenommenen Methoden ergaben die Form falsch, weil sie zu sehr von den kategorialen Variablen (den Berufsbezeichnungen) abgelenkt waren.
- Die neuen „unvoreingenommenen“ Methoden fanden die geheime Form viel genauer, weil sie alle Variablen fair behandelten.
- Der Realwelt-Test: Sie verwendeten Daten von FIFA-Fußballspielern (2021). Sie betrachteten Dinge wie Größe, Gewicht und Position. Sie zeigten, dass Standardmethoden die Variable „Position“ dominieren ließen, während ihre neue Methode den Einfluss der Position gegenüber physischen Statistiken wie Größe und Gewicht ausbalancierte.
Das Fazit
Das Paper kommt zu dem Schluss, dass wir beim Mischen von Zahlen und Kategorien oft versehentlich zulassen, dass die Art der Daten das Ergebnis bestimmt, anstatt die eigentlichen Daten selbst.
Ihre Lösung ist eine neue Art, Distanz zu berechnen, die wie ein nivellierendes Feld wirkt. Sie stellt sicher, dass weder die Art der Daten noch die Messweise darüber entscheidet, ob man etwa das Gehalt oder den Lieblingssport vergleicht – damit keines davon einen „Freifahrtschein“ erhält, den Vergleich zu dominieren, nur weil es auf eine bestimmte Weise gemessen wird. Dies bietet Forschern einen wesentlich ehrlicheren Ausgangspunkt für die Gruppierung von Daten oder deren Visualisierung.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.