Context and Symmetry in Auditing: A Case Study of Skeleton Inference in Motion Capture
Dieses Paper führt das Konzept des „kontextuellen Auditings“ ein und nutzt den Begriff der „Symmetrie“ aus den Wissenschafts- und Technologiestudien, um Herausforderungen bei der Verifizierung von KI-Systemen zu adressieren, wenn die Grundwahrheit unbekannt oder umstritten ist, wobei es den Ansatz anhand einer Fallstudie zur Skelett-Inferenz in der Motion Capture demonstriert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, den menschlichen Körper zu verstehen. Sie wollen, dass er genau weiß, wie lang ein Arm ist, wie breit eine Schulter ist oder wie ein Knie sich beugt. Aber hier ist der Haken: Der Roboter kann nicht in den Körper hineinsehen. Er kann nur das Äußere sehen. Woher wissen Sie also, ob der Roboter die Wahrheit sagt? Dies ist die große Frage in einem Bereich namens KI-Auditierung. Normalerweise prüft man, ob ein Roboter recht hat, indem man seine Antwort mit einer „Ground Truth“ vergleicht – einer perfekten, unbestreitbaren Tatsache, wie etwa einem Lineal, das niemals lügt. Aber was passiert, wenn es kein perfektes Lineal gibt? Was, wenn das, was man misst (wie die exakte Länge eines Knochens, der unter der Haut verborgen ist), unmöglich direkt zu sehen ist? Hier wird es knifflig. Wissenschaftler müssen entscheiden, was im ersten Schritt als „wahr“ gilt, und manchmal sind sich verschiedene Experten uneinig. Diese Arbeit taucht ein in diese chaotische, verwirrende, aber faszinierende Welt, in der wir versuchen, KI-Systeme zu auditieren, die unseren Körper vermessen, selbst wenn wir keine perfekte Antwortmöglichkeit haben, um sie zu überprüfen.
Die Autoren dieser Arbeit, ein Team von Forschern von Orten wie der Cornell Tech und der University of Virginia, beschlossen, dieses Problem anzugehen, indem sie sich eine spezifische Art von KI ansehen: Motion-Capture-Systeme (oder „Mocap“). Sie haben diese Systeme wahrscheinlich schon einmal in Filmen oder Videospielen gesehen, bei denen Schauspieler Anzüge tragen, die mit kleinen reflektierenden Punkten bedeckt sind, und Kameras diese Punkte verfolgen, um ein digitales Skelett zu erstellen, das sich genau wie der Schauspieler bewegt. Die Arbeit konzentriert sich auf eine spezifische Aufgabe, die diese Systeme ausführen, nämlich die „Skelett-Inferenz“ (Skeleton Inference), bei der der Computer die Position der Knochen basierend auf den Punkten auf der Haut errät.
Die Forscher argumentieren, dass die alte Art, diese Systeme zu prüfen – indem man lediglich die Vermutung des Computers mit einer „perfekten“ Messung vergleicht – hier nicht gut funktioniert, da es für viele Körperteile von vornherein keine einzelne „perfekte“ Messung gibt. Ist die Länge eines Unterarms der Abstand zwischen zwei Knochen im Inneren oder der Abstand zwischen zwei Punkten auf der Haut? Das sind unterschiedliche Dinge! Um dieses Problem zu lösen, führen die Forscher eine neue Art der Auditierung ein, ein kontextuelles Audit. Anstatt nur nach Zahlen zu schauen, betrachten sie die ganze „Geschichte“, wie die Messung stattfindet: Wer sie durchführt, welche Werkzeuge sie verwenden und was diese als wahr ansehen. Sie verwenden auch ein Konzept namens Symmetrie, das wie eine Detektivregel funktioniert: Behandle jede mögliche Art des Messens (selbst die, die vielleicht falsch sein könnten) mit dem gleichen Maß an Misstrauen und Respekt. Gehe nicht davon aus, dass dein Lineal richtig und der Computer falsch ist; gehe davon aus, dass beide auf unterschiedliche Weise fehlerhaft sein könnten, und finde dann heraus, warum sie voneinander abweichen.
Um diese Idee zu testen, setzten die Forscher ein reales Experiment an der New York University auf. Sie arbeiteten mit Motion-Capture-Praktikern zusammen, die diese Systeme für kreatives Design nutzen, wie zum Beispiel die Erstellung von Videospielen. Sie rekrutierten 24 Personen, um deren Körper auf zwei verschiedene Arten messen zu lassen. Erstens verwendeten sie das hochtechnologische Motion-Capture-System mit seinen Kameras und 41 reflektierenden Markern. Zweitens verwendeten sie ein bescheidenes, altmodisches Maßband und folgten dabei den Standard-Gesundheitsrichtlinien, um dieselben Körperteile zu messen.
Hier ist die Wendung: Die Forscher behandelten das Maßband nicht als die „Wahrheit“ und den Computer als den „Lügner“. Stattdessen betrachteten sie beide als unterschiedliche Wege, um dasselbe zu erraten. Sie fanden heraus, dass das Computersystem bei einigen Menschen sehr gut funktionierte, aber bei anderen Schwierigkeiten hatte, insbesondere wenn die Körperform der Person nicht mit den „durchschnittlichen“ Körpern übereinstimmte, auf denen das System ursprünglich trainiert wurde (die historisch gesehen überwiegend dünn und männlich waren). Auch das Maßband hatte seine eigenen Probleme, je nachdem, wie die Person, die es hielt, die Orientierungspunkte am Körper interpretierte.
Durch die Verwendung ihres neuen „Symmetrie“-Ansatzes zeigten die Forscher, dass man diese Systeme auch ohne eine perfekte Ground Truth effektiv auditieren kann. Sie entdeckten, dass die Fehler des Computers nicht zufällig waren; sie waren mit spezifischen Annahmen verknüpft, die das System darüber getroffen hatte, wie ein menschlicher Körper aussieht. Wenn zum Beispiel eine Person mehr Weichteilgewebe (Fett oder Muskeln) hatte, als das System erwartete, wich die Schätzung des Computers über die Knochenlänge ab. Die Arbeit legt nahe, dass wir, indem wir die verborgenen Annahmen und den Kontext verstehen, in dem die Messungen durchgeführt werden, herausfinden können, wo die KI uns im Stich lässt, selbst wenn wir nicht auf eine einzige „korrekte“ Zahl hinweisen können.
Letztendlich behauptet diese Arbeit nicht, das Motion Capture gelöst oder das Rätsel der perfekten Körpermessung geklärt zu haben. Stattdessen schlägt sie eine bessere Art vor, Fragen zu stellen. Sie zeigt, dass wir, wenn wir es mit einer KI zu tun haben, die uns vermisst, aufhören müssen, nach einer magischen „Wahrheit“ zu suchen, und statfangen müssen, die Praktiken, die Werkzeuge und die in das System eingebauten Vorurteile (Biases) zu untersuchen. Es ist eine Erinnerung daran, dass wir, bevor wir einem Roboter vertrauen, um unseren Körper für Dinge wie Arbeitssicherheit oder medizinische Diagnosen zu vermessen, verstehen müssen, welche komplexe, menschliche Geschichte hinter der Art und Weise steckt, wie dieser Roboter gelernt hat, zu messen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.