VisionAssist: An Open-Source Smartphone Assistant for AI-Based Visual Accessibility
VisionAssist 是一款开源的 AI 驱动智能手机应用程序，通过将物体检测、图像描述以及紧急情况/提醒功能集成到统一的、免提式的语音控制界面中，为低视力用户增强独立性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个这样的世界：你的智能手机不再仅仅是一个让你盯着看的屏幕，而是一个能够为你“看”东西的得力助手。这就是辅助技术（assistive technology）的领域——这是一个致力于构建工具以帮助视障人士在日常生活中穿行的科学分支。这篇论文的核心概念是人工智能（AI），特别是被称为**视觉语言模型（Vision-Language Models）**的一种类型。可以将这些模型想象成超级聪明的“大脑”，它们读过数百万本书，看过数百万张图片；它们可以观察一张照片并准确描述其中正在发生的事情，甚至可以像人类朋友一样回答关于照片的问题。虽然智能手机已经变得功能极其强大，但许多应用程序仍然将视障和低视力用户视为一种“事后才考虑到的需求”，迫使他们为了不同的任务而不得不频繁切换不同的工具。这篇论文提出了一个简单但至关重要的问题：我们能否构建一个单一的、开源的应用程序，使其成为视觉无障碍领域的“瑞士军刀”，将“识别”物体与“管理”个人生活的能力结合在一起，并且全部通过语音进行控制？
本文的作者 Ayşe Özlem Çalıskan 和 Jordi Sanchez-Riera 展示了 VisionAssist，这是一款旨在成为这种全能解决方案的新型移动应用程序。VisionAssist 不会强迫用户在“寻找钥匙的 App”、“阅读菜单的 App”和“给朋友打电话的 App”之间来回切换，而是将这些功能整合进了一个统一的、由语音驱动的界面中。团队在构建这款应用时采用了“语音优先”的设计理念，这意味着你永远不需要盯着屏幕看。你只需说出一个指令，应用就会倾听、处理你的请求并向你回话。
该应用提供了三种主要的运行“模式”，每种模式都像是一种不同的“超能力”。第一种是查找模式（Find Mode），它扮演着“数字侦探”的角色。如果你问：“我的钥匙在哪？”应用会分析实时摄像头画面，并告诉你物体在房间里的确切位置，例如“在画面的右上角”。第二种是描述模式（Describe Mode），它扮演着“讲故事的人”的角色。它会观察你面前的场景——无论是客厅还是路牌——并为你提供一个简短、清晰的摘要，说明发生了什么。第三种是阅读模式（Read Mode），它就像是一个“神奇的解码环”。它可以扫描产品标签、文档或菜单，并将文字大声读给你听。除了“看”之外，该应用还包含了个人助理模式（Personal Assistant Mode）。这部分功能不需要观察外部世界，而是直接连接到你手机的内部系统，通过语音指令帮助你拨打电话或查看日历。
为了实现这一目标，研究人员必须解决一个棘手的难题：如何在不导致手机崩溃或耗尽电量的情况下，在手机上运行这些强大的 AI“大脑”。他们测试了几种“端侧 AI 模型”（即完全在手机硬件上运行的模型），但发现它们并不可靠。在实验中，这些本地模型经常因为内存限制而崩溃，或者给出一些泛泛而谈、毫无帮助的回答，比如“我无法识别图像”。因此，论文明确排除了为这类应用使用这些特定端侧模型的想法。相反，作者选择了一种混合方法：应用将图像发送到功能强大的云端 AI（具体为 Gemini Vision API）来进行繁重的计算工作，然后再将答案传回手机并以语音形式播报。事实证明，这种方法要稳定得多，在 Wi-Fi 环境下，系统的响应时间约为 2 到 4 秒。
团队通过在家庭和办公室等真实场景中的测试，验证了他们的成果。他们发现，该应用能 100% 成功定位手机和遥控器等常见物体，而在定位杯子和书籍等其他物品时成功率约为 80%。它在阅读文本方面也表现出色，在 10 次测试中成功了 9 次，尽管有时在处理花哨的手写标签时会遇到困难。个人助理功能的可靠性甚至更高；在测试中，应用能 100% 正确地找到联系人和读取日历事件。
这个项目最令人兴奋的部分在于它是开源的。作者并没有构建一个封闭的盒子，而是向公众发布了代码，邀请其他开发者进行钻研、改进并添加新功能。虽然当前版本依赖互联网连接来进行“视觉识别”，但作者建议，随着移动技术的进步，他们希望最终能将其中一些智能功能直接移至手机本地运行。目前，VisionAssist 是一个统一、有趣且实用的进步，它证明了通过 AI 与语音控制的正确结合，智能手机确实可以成为那些需要它的人的一双眼睛。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。