🔬 光学

Reading Why: Born-Measured Attention with Exact Word Evidence on Light and Qubits

本文介绍了一种“玻恩测量”（Born-Measured）Transformer，它通过使用量子启发式操作取代标准注意力机制和非线性函数，从而为其预测提供精确、无误差的词级归因，在 e-SNLI 上实现了具有竞争力的准确率，并展示了成功编译至光学电路和 23 量子比特量子设备的成果。

原作者： Teerawat Tongloy, Jiraporn Pongsopa, Rangsan Jomtarak

发布于 2026-11-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Teerawat Tongloy, Jiraporn Pongsopa, Rangsan Jomtarak

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

当计算机程序读取一个句子并决定其含义时，我们经常不得不猜测它为何做出那样的选择。我们可以查看程序用于衡量不同词汇权重的数字，但这些数字仅仅是估计值；它们并不能准确告诉我们究竟是哪些词导致了最终的答案。这对人工智能来说是一个问题，尤其是当我们需要信任机器的决策时。科学家们长期以来一直试图构建不仅准确，而且透明的模型，以便我们能看到从屏幕上的文字到机器得出结论的精确路径。挑战在于，最常见的语言模型类型依赖于一种数学技巧来平滑其选择，这种技巧使得追踪单个词的影响变得非常困难。如果我们想知道为什么机器认为一个故事是真的还是假的，我们需要一种方法来测量每个词的贡献，而不至于在近似值的云雾中迷失方向。

一个研究小组构建了一种新型语言模型，通过改变机器思考的方式解决了这个问题。他们没有使用那些隐藏推理过程的标准数学技巧，而是构建了一个每一个思考步骤都是对光或量子粒子直接测量的系统。在这种新设计中，机器不再猜测一个词有多重要，而是直接测量它。研究人员用一个在物理学中已知一个世纪之久的物理规则——即平方信号强度的规则——取代了通常的平滑步骤。通过这样做，他们创建了一个最终答案是每个单词贡献精确总和的模型。当他们在处理一个询问一个句子是否由另一个句子推导出的任务时测试该系统时，该机器的表现与最好的标准模型一样出色，但有一个关键区别：它能准确告诉我们哪些词决定了结果，并且这些解释与最终得分完美契合。

研究人员在一个包含近一万个句子对的数据集上测试了他们的创造物，人类标注员已经预先标出了使句子变为真、假或无关的关键词。他们将这个新模型与使用通常平滑技巧的标准模型进行了对比。两种模型获得正确答案的概率都在70%左右，这表明新设计并未为了清晰度而牺牲准确性。然而，当研究人员要求模型进行解释时，差异非常显著。在标准模型中，它声称最重要的词在被移除后并不总是会改变答案。而在新模型中，移除它所认为最重要的词在45%的情况下改变了答案，这有力地证明了该解释实际上是在驱动决策。此外，新模型指向的词与人类所强调的词匹配得比标准模型更为紧密。

这项工作的独特之处在于，解释并不是事后添加的，而是内置于机器的结构之中。研究人员设计该模型时，使得描述答案的数学是一个简单的多项式，即变量为词信号的一种方程类型。因此，他们可以通过累加计算中的微小部分来计算每个词的确切贡献，这一过程不留任何误差空间。他们通过在量子计算机上运行该模型验证了这一点，量子计算机利用亚原子粒子的奇异特性来处理信息。他们并没有在量子计算机上运行整个模型（因为以目前的技术水平这太难了），但他们运行了测量词与词之间如何相互关联的部分。量子计算机给出的答案与完美的数学模型一致，并且当他们移除一个关键词时，量子机器改变心意的过程也与完美的模型完全相同。这证明了该设计不仅在理论上可行，而且在实际硬件上也是有效的。

研究人员还展示了这套相同的数字可以被用来构建一台能够与光协同工作的机器。他们将模型的权重映射到一个可以用镜子和激光构建的设计上，其中词由光束表示，而词之间的关系则通过光波之间的干涉来测量。虽然他们在计算机上模拟了这个光学版本，但数学证明它将以与量子版本完全相同的方式工作。这种双重可能性表明，该模型并不受限于特定的硬件类型；它是一个可以在光、量子粒子或经典计算机上运行的设计，并且始终保持着对答案的清晰、精确的解释。

最令人震惊的发现之一是，通过检查机器对哪些词给予了最多的“注意力”来观察这些模型的方法具有误导性。在新模型中，获得最高注意力的词并不总是能像被识别为“证据”的词那样有效地解释答案。事实上，移除具有最高注意力分数的词所导致的答案变化，比移除具有最高证据分数的词所导致的答案变化要少。这表明，注意力权重（通常被用来解释模型是如何工作的）虽然看起来像人类的推理，却无法真正驱动决策。相比之下，新模型的“证据”则是对答案的真实核算。

这项工作并不声称已经解决了人工智能的所有问题，研究人员也谨慎地指出了他们当前实验的局限性。量子计算机的测试仅针对两个短句进行，而光学版本也仅经过了模拟而非实际构建。该系统在量子计算机上运行时需要大量的测量，而目前的量子计算速度较慢且成本高昂。然而，这项研究证明了构建一个既准确又具备完美可解释性的语言模型是可能的。通过用直接的物理测量取代隐藏的数学技巧，研究人员创造出了一种不仅能给出答案，还能以精确、可验证且易于理解的方式展示其推导过程的机器。这为通往我们可以信任的人工智能开辟了一条道路——不是因为它是能产生结果的“黑箱”，而是因为我们可以看清它是如何运作的。

技术摘要：具有精确词汇证据的生性测量注意力（Born-Measured Attention）

问题
当前对语言模型决策的解释通常是事后近似（post-hoc approximations）。注意力权重作为最直观的内部指标，往往无法解释实际的输出；此外，针对非多项式模型的标准归因方法（如集成梯度）仅能产生近似结果，无法精确求和至模型的预测值。此外，虽然量子和光学硬件可以自然地执行干涉和相干组合，但在实现标准 Transformer 原生的 Softmax 非线性方面存在困难。本文探讨了是否可以构建一个完全由光和量子比特（生性测量/Born measurements）的原生物理操作构成的 Transformer，并为其决策提供精确、可验证的证据。

方法论
作者提出了 Born Transformer，该模型中所有的非线性函数（Softmax、LayerNorm、ReLU）都被替换为生性测量（即振幅模平方）。

架构：
- 编码： 单词被映射为复数场（32 个光模或 5 个量子比特），通过学习到的嵌入和旋转位置场进行处理。
- Born 注意力： 取代 Softmax，注意力权重计算为 $| \langle q_i | k_j \rangle |^4$ 并对行进行归一化。重叠项 $\langle q_i | k_j \rangle$ 是一个干涉项，可以通过平衡检测（光）或 Hadamard 测试（量子比特）进行测量。
- 测量前馈网络： 用两个线性图像的乘积 $Re[(W_1 h)(W_2 h)]$ 取代“线性-ReLU-线性”结构，通过同相检测（光）或 Hadamard 测试（量子比特）读取，随后进行经典增益处理。
- 读取： 最终状态被投影到类别区域，概率通过平方振幅之比计算（ $P_g = \sum | \phi_b |^2 / \sum | \phi_b |^2$ ）。
精确证据 (BEW)：
由于该模型是单词振幅的多项式比率（一旦分母保持恒定），因此可以通过集成梯度计算生性词汇证据 (Born Evidence per Word, BEW)。由于该函数是多项式，可以使用有限的高斯-勒让德求积法（Gauss-Legendre quadrature）进行精确积分（对于该模型的阶数，324 个节点已足够），从而确保单词证据之和精确等于该类别的概率（高于其无信息份额的部分）。
硬件实现：
- 光学： 模型被编译成一个光电电路，其中测量发生在每个模块内部（检测器 + 调制器）。
  【注：原文此处为“detectors + modulators”，译为“检测器 + 调制器”】
- 量子比特 (Born Transformer)： 每个模块的测量都是一个独立的电路（Hadamard 测试）。
- 量子比特 (相干注意力层)： 一种延迟测量直到结束的变体，将整个注意力机制编译为单个电路（使用 23 个量子比特和 852 个 CNOT 门，利用 Bell 投影和砖墙式幺正变换）。

核心贡献

Born Transformer 设计： 一个完全由生性测量构建的 Transformer，用物理测量规则取代了 Softmax。
精确词汇证据 (BEW)： 将 Born 证据图谱扩展到深度注意力模型。不同于标准的近似方法，BEW 通过有限求积法实现与模型输出概率的精确求和。
双重硬件编译： 相同的权重可以精确编译为光学和量子实现。
相干注意力层： 一种无需中间测量、通过后选择（post-selection）实现的单电路量子实现方案。
硬件验证： 在 IBM 的 ibm_kingston 量子处理器上执行了 Born Transformer 的注意力重叠测试，证明该设备能够重现模型的答案，并按预期对单词删除做出反应。

结果

准确率： 在 e-SNLI 自然语言推理任务上，Born Transformer（除嵌入外的参数量为 98k）达到了 76.98% 的测试准确率，与同规模的 Softmax Transformer（76.62%）在统计上无显著差异。不带测量约束的多项式模拟（Poly-sim-born）达到了 78.98%。
证据质量：
- 完备性： 单词证据之和与类别概率之间的差距 $\le 8 \times 10^{-12}$ （中位数为 $6 \times 10^{-13}$ ）。
- 删除测试： 删除具有最高 BEW 的单词会导致 45% 的测试对改变答案，而 Softmax 模型的证据和 Born 模型的注意力权重仅为 32%。
- 人类一致性： BEW 识别出的顶级单词与人类标注者高亮内容的吻合度（0.510）高于 Softmax 模型的证据（0.468），尽管注意力权重本身的一致性更高（0.54），但对答案的忠实度较低。
硬件性能：
- 在 ibm_kingston 上，设备重现了对于“men play hockey / aliens play”（矛盾）这一对输入的模型答案，概率为 0.988（精确值为 0.983）。
- 在设备上删除顶级证据词“aliens”使答案转向蕴含（0.573），符合精确模型的行为。
- 局限性： 由于校准误差导致的行求和（可见度损失），在硬件上测量 BEW 本身失败了。相干注意力层的后选择率极低（ $10^{-5}$ 到 $10^{-4}$ ），使得目前在现有设备上进行完整执行尚不可行。

意义与主张
论文声称，通过设计一种使解释内置于架构之中（即单词振幅的多项式）的模型，可以实现精确的归因而非近似。这使得模型可以做到“既能评分，也能校验”。作者证明了：

使用生性测量取代 Softmax 不会牺牲 NLI 任务的准确性。
由此产生的证据在数学上是精确的，且在物理上是可测量的。
注意力权重虽然在视觉上与人类的高亮内容相似，但其对模型实际决策逻辑的忠实度低于精确的证据（通过集成梯度得出）。
该模型的权重是硬件无关的，可以精确编译为光学和量子系统，弥合了理论可解释性与物理实现之间的鸿沟。

作者明确表示，他们不主张量子优势；该设备运行的是经典计算机瞬间即可完成的计算。其意义在于设计即解释性（interpretability by design），以及通过物理测量和精确数学分解来验证模型行为的能力。

技术摘要：具有精确词汇证据的生性测量注意力（Born-Measured Attention）

类似论文