VisionAssist: An Open-Source Smartphone Assistant for AI-Based Visual Accessibility
VisionAssist ist eine Open-Source, KI-gestützte Smartphone-Applikation, die die Unabhängigkeit von Menschen mit Sehbehinderungen durch die Integration von Objekterkennung, Bildbeschreibung sowie Notfall- und Erinnerungsfunktionen in eine einzige, freihändige, sprachgesteuerte Benutzeroberfläche erhöht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Ihr Smartphone nicht nur ein Bildschirm ist, auf den Sie starren, sondern ein hilfreicher Begleiter, der für Sie „sehen“ kann. Dies ist das Reich der assistiven Technologie, eines Zweigs der Wissenschaft, der sich der Entwicklung von Werkzeugen widmet, die Menschen mit Sehbehinderungen helfen, ihren Alltag zu bewältigen. Im Zentrum dieser Arbeit steht ein Konzept namens Künstliche Intelligenz (KI), speziell eine Art von Vision-Language-Modellen. Stellen Sie sich diese Modelle wie superintelligente Gehirne vor, die Millionen von Büchern gelesen und Millionen von Bildern gesehen haben; sie können ein Foto betrachten und genau beschreiben, was darin passiert, oder sogar Fragen dazu beantworten, genau wie ein menschlicher Freund es tun würde. Obwohl Smartphones unglaublich leistungsstark geworden sind, behandeln viele Apps Nutzer mit Blindheit oder Sehbehinderung immer noch als einen Gedanken an den Rand, was sie dazu zwingt, für verschiedene Aufgaben zwischen verschiedenen Werkzeugen zu jonglieren. Diese Arbeit stellt eine einfache, aber entscheidende Frage: Können wir eine einzige, Open-Source-App bauen, die als Schweizer Taschenmesser für visuelle Barrierefreiheit fungiert und die Fähigkeit, Objekte zu „sehen“, mit der Fähigkeit, Ihr persönliches Leben zu verwalten, kombiniert – alles gesteuert allein durch Ihre Stimme?
Die Autoren dieser Arbeit, Ayşe Özlem Çalıskan und Jordi Sanchez-Riera, präsentieren VisionAssist, eine neue mobile Anwendung, die als diese All-in-One-Lösung konzipiert ist. Anstatt die Nutzer dazu zu zwingen, zwischen einer App zu wechseln, um ihre Schlüssel zu finden, einer anderen, um eine Speisekarte zu lesen, und einer dritten, um einen Freund anzurufen, bündelt VisionAssist diese Fähigkeiten in einer einzigen, sprachgesteuerten Schnittstelle. Das Team hat die App nach einer „Speech-First“-Philosophie entwickelt, was bedeutet, dass Sie niemals auf den Bildschirm schauen müssen. Sie sprechen einfach einen Befehl, und die App hört zu, verarbeitet Ihre Anfrage und spricht zu Ihnen zurück.
Die App bietet drei Haupt-„Modi“ des Betriebs, von denen jeder wie eine andere Superkraft wirkt. Der erste ist der Find-Modus, der wie ein digitaler Detektiv agiert. Wenn Sie fragen: „Wo sind meine Schlüssel?“, analysiert die App den Live-Kamera-Feed und sagt Ihnen genau, wo sich das Objekt im Raum befindet, wie zum Beispiel „oben rechts im Bild“. Zweitens ist der Describe-Modus, der wie ein Geschichtenerzähler arbeitet. Er betrachtet die Szene vor Ihnen – sei es ein Wohnzimmer oder ein Straßenschild – und gibt eine kurze, klare Zusammenfassung dessen ab, was dort geschieht. Drittens fungiert der Read-Modus wie ein magischer Entschlüsselungsring für Text. Er kann ein Produktetikett, ein Dokument oder eine Speisekarte scannen und den Text laut vorlesen. Über das reine „Sehen“ hinaus enthält die App auch einen Persönlichen Assistenten-Modus. Dieser Teil muss die Welt nicht „sehen“; stattdin verbindet er sich direkt mit den internen Systemen Ihres Telefons, um Ihnen dabei zu helfen, Telefonate zu führen oder Ihren Kalender zu prüfen, alles durch Sprachbefehle.
Um dies zu ermöglichen, mussten die Forscher ein schwieriges Rätsel lösen: wie man diese leistungsstarken KI-Gehirne auf einem Telefon ausführt, ohne dass es abstürzt oder der Akku leer wird. Sie testeten mehrere „On-Device“-KI-Modelle (Modelle, die vollständig auf der Hardware des Telefons laufen), fanden diese jedoch als unzuverlässig heraus. In ihren Experimenten stürzten diese lokalen Modelle oft aufgrund von Speicherlimits ab oder gaben generische, wenig hilfreiche Antworten wie „Ich konnte das Bild nicht identifizieren“. Infolgedessen schließt die Arbeit die Idee, diese spezifischen On-Device-Modelle für diese Art von Anwendung zu verwenden, explizit aus. Stattdessen entschieden sich die Autoren für einen hybriden Ansatz: Die App sendet das Bild an eine leistungsstarke Cloud-basierte KI (speziell die Gemini Vision API), um die Schwerstarbeit zu leisten, und sendet dann die Antwort an das Telefon zurück, um sie laut vorzulesen. Diese Methode erwies sich als wesentlich stabiler, wobei das System über WLAN etwa 2 bis 4 Sekunden benötigt, um zu antworten.
Das Team validierte ihre Schöpfung, indem es sie in realen Szenarien wie Wohnungen und Büros testete. Sie fanden heraus, dass die App gängige Objekte wie Telefone und Fernbedienungen zu 100 % der Zeit erfolgreich lokalisieren konnte und andere Gegenstände wie Tassen und Bücher zu etwa 80 %. Sie war auch sehr gut darin, Text zu lesen, wobei sie in 9 von 10 Tests erfolgreich war, obwohl sie manchmal mit ausgefallenen, handgeschriebenen Etiketten zu kämpfen hatte. Die Funktionen des persönlichen Assistenten waren sogar noch zuverlässiger; die App fand Kontakte korrekt heraus und las Kalenderereignisse in ihren Tests zu 100 % der Zeit vor.
Der vielleicht spannendste Teil dieses Projekts ist, dass es Open-Source ist. Die Autoren haben nicht nur eine geschlossene Box gebaut; sie haben den Code der Öffentlichkeit zur Verfügung gestellt und laden andere Entwickler dazu ein, daran herumzutüfteln, es zu verbessern und neue Funktionen hinzuzufügen. Während die aktuelle Version auf eine Internetverbindung angewiesen ist, um zu „sehen“, schlagen die Autoren vor, dass sie hoffen, mit fortschreitender mobiler Technologie einige dieser intelligenten Funktionen schließlich direkt auf dem Telefon implementieren zu können. Für den Moment steht VisionAssist als eine einheitliche, spielerische und praktische Weiterentwicklung da und beweist, dass mit der richtigen Mischung aus KI und Sprachsteuerung ein Smartphone wahrhaftig zu einem Paar Augen für diejenigen werden kann, die sie benötigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.