A Dataset for Crucial Object Recognition in Blind and Low-Vision Individuals' Navigation

Diese Arbeit stellt einen öffentlich verfügbaren Datensatz mit 21 Videos und einer Taxonomie von 90 für blinde und sehbehinderte Personen entscheidenden Objekten vor, der aufzeigt, dass aktuelle Computer-Vision-Modelle für die Navigation dieser Zielgruppe unzureichend sind und die Notwendigkeit spezialisierter Trainingsdaten unterstreicht.

Das Wesentliche

Das Problem: Der blinde Navigator und die "blinden" Computer

Stellen Sie sich vor, Sie sind blind und gehen durch eine belebte Stadt. Ihr Gehstock ist Ihr Freund; er klopft gegen Bordsteinkanten und Stufen. Aber er hat eine Schwäche: Er kann nur das fühlen, was auf Bodenhöhe ist. Was ist mit einem Ast, der genau auf Augenhöhe herunterhängt? Oder mit einer nassen Pfütze, die man nicht sieht, aber in die man rutscht?

Heutzutage versuchen wir, blinden Menschen mit künstlicher Intelligenz (KI) zu helfen. Diese KI soll wie eine unsichtbare Stimme fungieren, die sagt: "Achtung, da vorne ist ein Bus!" oder "Vorsicht, ein Hund kommt!".

Das Problem ist jedoch: Die KI ist wie ein Schüler, der nur aus einem sehr alten und langweiligen Lehrbuch gelernt hat. Dieses Lehrbuch (die großen Datensätze wie ImageNet oder COCO) kennt zwar Autos, Hunde und Menschen. Aber es weiß nichts über die Dinge, die für einen blinden Menschen wirklich lebenswichtig sind. Es kennt keine "nassen Rohre auf dem Bürgersteig", keine "überhängenden Äste" und keine "schiefen Bordsteinkanten".

Die Lösung: Ein neues, spezielles Wörterbuch

Die Forscher aus den USA (von der Penn State University und der Drake University) haben gesagt: "Das reicht nicht!" Sie wollten ein neues, spezielles Lehrbuch erstellen, das genau das enthält, was blinde Menschen brauchen.

1. Die Beobachtung: Sie haben 21 Videos von blinden Menschen gesucht, die draußen unterwegs sind. Sie haben genau hingeschaut: Was hat sie gestört? Wo sind sie gestolpert? Was war gefährlich?
2. Der Expertenrat: Sie haben nicht nur selbst entschieden. Sie haben eine "Runde der Weisen" einberufen: 6 blinde oder sehbehinderte Menschen und Experten für Orientierung und Mobilität. Diese Gruppe hat gesagt: "Hey, vergesst nicht die überhängenden Äste! Die fangen einen, bevor man sie sieht!" oder "Eine lose Wasserleitung ist eine Falle!".
3. Das Ergebnis: Aus dieser Zusammenarbeit entstand eine Liste von 90 ganz speziellen Objekten. Das ist wie ein neues, detailliertes Wörterbuch für die Stadt, das Dinge enthält, die in normalen Wörterbüchern fehlen.

Der Test: Warum die aktuellen KI-Modelle scheitern

Dann haben die Forscher einen großen Test gemacht. Sie haben sieben der fortschrittlichsten KI-Modelle der Welt (die sogenannten "State-of-the-Art"-Modelle) mit diesem neuen Wörterbuch konfrontiert.

Das Ergebnis war ernüchternd, aber wichtig:

• Die KI-Modelle waren wie Schüler, die eine Prüfung in einer Sprache machen, die sie nicht gelernt haben.
• Sie konnten zwar "Auto" oder "Mensch" erkennen. Aber sobald es um die 90 wichtigen Dinge ging (wie "überhängender Ast" oder "geschlossener Bürgersteig"), waren die Modelle ratlos. Sie sagten oft: "Ich sehe nichts" oder nannten das Falsche.
• Besonders bei den gefährlichsten Dingen (denen, die einen "einfangen", bevor man sie spürt) waren die Modelle fast blind.

Die Metapher: Der Koch und die fehlenden Zutaten

Stellen Sie sich die KI als einen Koch vor, der ein Restaurant für blinde Gäste betreibt.

• Die alten Datensätze sind wie ein Kochbuch, das nur Rezepte für "Pizza" und "Salat" enthält.
• Die blinden Gäste (die Nutzer) kommen aber mit einer speziellen Diät und brauchen Zutaten wie "Glut" oder "unsichtbare Hindernisse".
• Wenn der Koch versucht, ein Gericht zu kochen, das nur aus Pizza besteht, verhungern die Gäste an den Hindernissen, weil der Koch nicht weiß, wie man sie erkennt.

Was tun die Forscher jetzt?

Sie haben ihre neue "Zutatenliste" (den Datensatz mit den 90 Objekten und den Videos) kostenlos für alle verfügbar gemacht.

Ihr Ziel ist es, anderen Forschern und Entwicklern zu sagen: "Hier, nehmt dieses neue Buch! Lernt daraus! Trainiert eure KIs damit, damit sie endlich verstehen, was für blinde Menschen wirklich wichtig ist."

Fazit in einem Satz:
Bislang waren die Computer "blind" für die echten Gefahren im Alltag blinder Menschen; diese Forscher haben nun eine Landkarte gezeichnet, damit die Computer endlich lernen können, sicher zu navigieren.

Technische Zusammenfassung

1. Problemstellung

Blinde und sehbehinderte (BLV) Personen sind auf zuverlässige Echtzeit-Objekterkennungssysteme angewiesen, um sich sicher im öffentlichen Raum zu orientieren. Obwohl moderne KI-Modelle (z. B. auf Basis von Transformer-Architekturen oder CNNs) Fortschritte gemacht haben, zeigen sie erhebliche Defizite in diesem spezifischen Anwendungsbereich:

• Mangelnde Datengrundlage: Die meisten gängigen Trainingsdatensätze (wie ImageNet, MS COCO, Cityscapes, Mapillary Vistas) enthalten keine oder nur sehr wenige Annotationen für Objekte, die für die BLV-Navigation kritisch sind.
• Fehlende Feinabstimmung: Bestehende Taxonomien sind oft zu grob. Sie erfassen nicht die Nuancen, die für die Sicherheit von BLV-Personen entscheidend sind (z. B. Hindernisse, die einen Blindenstock umgehen, oder Objekte, die von oben kommen).
• Praktische Unbrauchbarkeit: State-of-the-Art-Modelle versagen häufig bei der Erkennung von Objekten, die für die Vermeidung von Unfällen essenziell sind, da diese Objekte in ihren Trainingsdaten unterrepräsentiert oder gar nicht vorhanden sind.

2. Methodik

Die Autoren verfolgten einen mehrstufigen Ansatz zur Erstellung eines spezialisierten Datensatzes und zur Evaluierung bestehender Modelle:

• Datenerfassung:

  • Es wurden 21 Videos von öffentlichen Plattformen (YouTube, Vimeo) extrahiert, die BLV-Personen bei der Navigation im Freien zeigen.
  • Diese Videos wurden in 31 Segmente unterteilt, um relevante Szenen zu isolieren.
  • Mithilfe des Tools Katna wurden Schlüsselbilder (Keyframes) extrahiert (zwischen 3 und 93 pro Segment).

• Entwicklung einer spezialisierten Taxonomie:

  • Basierend auf einer ersten Analyse von ca. 80 semantischen Kategorien wurde eine Taxonomie von 90 Objekten entwickelt.
  • Diese Taxonomie wurde durch eine Fokusgruppenstudie mit 6 Teilnehmern (2 blinde, 2 sehbehinderte und 2 sehende Experten für Orientierung und Mobilität) verfeinert.
  • Die Kategorien sind handlungsorientiert und feinabgestimmt, z. B. unterteilt in:
    • Hindernisse, die ein Blindenstock wahrscheinlich erkennt (z. B. Hydranten).
    • Hindernisse, die ein Blindenstock wahrscheinlich verpasst (z. B. Barrieren, geschlossene Gehwege).
    • Objekte, die zu spät erkannt werden (z. B. Bahngleise).
    • Objekte, die „einen zuerst treffen" (z. B. herabhängende Äste).
    • Bewegliche Objekte (z. B. Fahrräder, Hunde).

• Annotation (Ground Truth):

  • Alle Autoren annotierten manuell das Vorhandensein (1) oder Fehlen (0) der 90 Objekte in jedem Schlüsselbild.
  • Zur Vermeidung von „Change Blindness" wurden aufeinanderfolgende Frames nebeneinander betrachtet.
  • Die Annotationen wurden durch unabhängige Überprüfung und Konsensbildung gesichert.

• Evaluation:

  • Sieben State-of-the-Art-Modelle wurden getestet, darunter Erkennungsmodelle (RAM), Detektionsmodelle (YOLOv7, Faster R-CNN), Segmentierungsmodelle (Mask R-CNN, HRNet) und VQA-Modelle (BLIP, GPV-1).
  • Die Modelle wurden auf ihre Fähigkeit getestet, die 90 spezifischen Objekte aus dem neuen Datensatz zu erkennen.

3. Wichtige Beiträge

1. Ein neuer Datensatz: Öffentliche Verfügbarkeit eines Datensatzes mit 21 Navigationsvideos und 31 annotierten Segmenten, der sich explizit auf BLV-Navigation konzentriert.
2. Eine verfeinerte Taxonomie: Eine Liste von 90 Objekten, die durch partizipative Forschung mit der Zielgruppe entwickelt wurde. Diese deckt Lücken in bestehenden Datensätzen ab, insbesondere bei feinkörnigen Hindernissen und kontextspezifischen Objekten.
3. Ground-Truth-Labeling: Vollständige manuelle Annotation aller 90 Objektkategorien über alle Schlüsselbilder hinweg.
4. Benchmarking: Eine umfassende Evaluierung aktueller KI-Modelle, die deren Unzulänglichkeit für diesen spezifischen Use-Case aufzeigt.

4. Ergebnisse

• Lücken in bestehenden Datensätzen: Eine Heatmap-Analyse (Abbildung 2 im Paper) zeigt, dass die meisten der 90 kritischen Objekte in etablierten Datensätzen (wie Mapillary Vistas, COCO, ImageNet) gar nicht oder nur sehr selten vorkommen. Besonders die gefährlichsten Kategorien (Gruppen 3, 5 und 7 der Taxonomie) fehlen fast vollständig.
• Schwache Leistung der Modelle:
  • Die getesteten Modelle (YOLO, Faster R-CNN, etc.) konnten nur einen kleinen Bruchteil der 90 Objekte erkennen (oft nur 12–15 Kategorien), da sie auf deren Trainingsvokabular beschränkt waren.
  • Selbst Modelle mit offenen Vokabularen (wie RAM, BLIP, GPV-1), die mehr Kategorien abdecken konnten, erzielten nur moderate F1-Scores.
  • Kritischer Befund: Keine der getesteten Modelle konnte die Objekte der kritischsten Gruppen (z. B. herabhängende Äste, Barrieren, die den Stock umgehen) zuverlässig erkennen.
• Ergebnis: Aktuelle Computer-Vision-Modelle sind für den direkten Einsatz in der BLV-Navigation nicht einsatzbereit, da sie lebenswichtige Hindernisse übersehen.

5. Bedeutung und Implikationen

• Notwendigkeit spezialisierter Daten: Das Paper unterstreicht, dass allgemeine Datensätze nicht ausreichen. Für sichere Assistenzsysteme müssen Datensätze entwickelt werden, die die spezifischen Bedürfnisse und Risiken von BLV-Personen abbilden.
• Rolle der partizipativen Forschung: Die Einbindung von BLV-Personen und O&M-Experten in die Taxonomie-Entwicklung war entscheidend, um relevante Objekte zu identifizieren, die von sehenden Annotatoren oft übersehen werden.
• Zukünftige Anwendungen: Der Datensatz dient als Basis für:
  • Few-Shot Learning: Modelle können mit wenigen Beispielen auf diese spezifischen Objekte trainiert werden.
  • Personalisierte Navigation: Anpassung der Erkennung an individuelle Bedürfnisse (z. B. Priorisierung bestimmter Hindernisse).
  • Proaktive Warnsysteme: Entwicklung von Systemen, die nicht nur reagieren, sondern potenzielle Gefahren (wie Äste über dem Kopf) proaktiv melden.
• Ethische Aspekte: Die Autoren haben die Urheberrechte der Videoplattformen respektiert und die uploader um Erlaubnis gebeten, wobei die Datenerhebung als exempt von der IRB-Prüfung galt, da öffentlich zugängliche Daten genutzt wurden.

Fazit: Das Paper liefert eine kritische Grundlage für die Entwicklung inklusiverer Navigationshilfen, indem es die Lücke zwischen aktueller KI-Technologie und den realen Sicherheitsanforderungen blinder Menschen aufzeigt und die notwendigen Daten sowie die Taxonomie zur Schließung dieser Lücke bereitstellt.