From Plots to Words: Model-Aware Multimodal Explanations as a Foundation for Accessible, Non-Visual Interaction
本文介绍了一种上下文感知型多智能体框架，该框架将视觉时间序列预测输出转换为结构化的、模型感知的文本解释，以增强盲人和视障用户的可访问性，并在基于大语言模型的初步评估中，证明了其在解释质量和可信度方面较之数值基准有了显著提升。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代数字世界中，海量信息每秒都在通过计算机系统流动，通常以复杂的图表和图形的形式呈现。对于视力正常的人来说，这些图像是理解趋势、发现问题并预测未来走向的快捷方式。然而，对于数以百万计的盲人或低视力人士而言，这些视觉界面往往是难以逾越的障碍。屏幕阅读器（将文本转换为语音的工具）很难传达一条曲线或一个阴影区域所蕴含的意义。这造成了显著的无障碍鸿沟，使得许多用户无法与高度依赖视觉仪表盘的数据密集型系统进行交互。为了弥补这一差距，研究人员正转向人工智能，特别是大语言模型——这类强大的计算机程序能够理解并生成人类语言。挑战在于，不仅要教会这些模型描述图表看起来是什么样子的，还要解释为什么做出某种预测，即使用计算机系统本身的内部逻辑，而非仅仅是视觉模式来进行解释。
来自波兰理论与应用信息学研究所的一个研究小组开发了一种新系统，旨在通过将视觉预测转化为清晰、结构化的文字来解决这一问题。他们的工作专注于云计算基础设施的管理，在这些环境中，操作员必须不断监测海量数据，以预测未来的资源需求。在这些环境中，决策往往基于趋势线和不确定性区间，而这些对于非视觉用户来说是不可见的。研究人员构建了一个多智能体框架，这是一个由多个专门的AI程序协同工作的系统，用于处理数据、生成预测，并将这些预测转化为详细的文本解释。该系统不再向用户展示图表，而是通过“说话”来告知用户，不仅描述数字，还描述预测背后的具体原因，包括计算机对其自身预测的信心程度。
这项研究的核心是一种超越简单描述、实现真正解释的方法。团队测试了三种不同的生成响应以回答用户关于数据问题的途径。第一种方法是基准方法，仅依赖原始数字。第二种方法增加了视觉描述，使系统能够“看到”图表并描述其观察到的趋势。第三种也是最先进的方法，研究人员称之为“可解释”方法，它更进一步。它整合了来自计算机模型本身的信号，例如哪些特定数据点对预测最为重要，以及模型对未来感到多么不确定。这种方法确保了解释是植根于机器实际的决策过程，而非仅仅是对输出结果的表面描述。该系统使用来自大型图形处理器（GPU）集群的真实世界数据进行了测试，通过追踪数月内数十万次的作业提交情况，来模拟一个复杂且高风险的环境。
当研究人员对比这三种方法时，结果显示出质量上的明显提升。仅列出数字的系统往往显得模糊且缺乏深度。增加视觉描述有助于系统提供更有帮助和更有见地的答案，但最显著的改进来自于包含模型内部推理的方法。这个先进的版本生成的解释不仅更具可信度，而且对模型自身的局限性和置信水平有着显著更高的感知能力。在一项严格的评估中，这种可解释方法相比基础的数值基准，将响应的整体质量提升了高达32%。它在减少系统可能编造事实（即所谓的“幻觉”问题）以及提供更清晰的不确定性感方面特别有效，而这对于做出安全决策至关重要。
研究人员强调，尽管他们的系统为无障碍交互创建了强大的基础，但尚未直接针对盲人或低视力用户进行测试。他们的工作是一个概念验证，证明了将复杂的视觉预测输出转化为可靠的、具备模型感知能力的文本（可通过语音或屏幕阅读器消费）是完全可能的。通过将重点从展示图表转向解释数字背后的逻辑，该团队为非视觉用户以一种此前无法实现的方式参与数据密集型系统开辟了一条路径。这项研究表明，要实现人工智能真正的无障碍化，它不仅要将图像转化为文字，更要将机器底层的推理过程转化为任何用户都能理解并信任的叙述。这种方法将语言定位为不仅仅是描述数据的一种方式，而是与之交互的主要界面，从而确保现代计算的洞察力能够面向所有人开放，无论其视力状况如何。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。