🤖 AI

EyeLayer: Integrating Human Attention Patterns into LLM-Based Code Summarization

本文提出了 EyeLayer，一种将人类眼动注意力模式作为专家知识代理融入大语言模型的轻量级模块，通过多模态高斯混合模型重分布 Token 嵌入，显著提升了不同架构模型在代码摘要任务上的性能。

原作者： Jiahao Zhang, Yifan Zhang, Kevin Leach, Yu Huang

发布于 2026-02-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiahao Zhang, Yifan Zhang, Kevin Leach, Yu Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 EyeLayer（眼层） 的新技术，它的核心思想非常有趣：教人工智能（AI）像人类程序员一样“看”代码。

为了让你更容易理解，我们可以把这篇论文的故事想象成教一个超级聪明的“新学徒”如何阅读一本复杂的“天书”（源代码）。

1. 背景：聪明的学徒，但有点“走神”

现在的 AI（大语言模型，LLM）非常聪明，它读过海量的代码和对应的说明文档。就像那个读过很多书的新学徒，它知道怎么把代码翻译成自然语言（比如：“这个函数是用来计算距离的”）。

但是，AI 有个问题：它虽然读过很多，但它不知道人类在真正阅读代码时，眼睛会盯着哪里。

人类程序员看代码时，眼睛会像探照灯一样，死死盯着最关键的变量、函数名和逻辑判断（这叫“注意力”），而忽略一些无关紧要的装饰性代码。
AI有时候会“眉毛胡子一把抓”，或者盯着一些对人类来说不重要的地方，导致它生成的总结虽然语法通顺，但抓不住重点，甚至有点“外行”。

2. 解决方案：EyeLayer（给 AI 戴上“眼动仪”）

作者们想：“既然人类专家知道看哪里，我们能不能把这种‘看’的经验教给 AI 呢？”

于是，他们发明了 EyeLayer。你可以把它想象成给 AI 戴上了一副隐形的“眼动追踪眼镜”。

数据来源：研究人员找来了 27 位专业程序员，让他们在写代码总结时戴上眼动仪。这些仪器记录了他们的眼睛在代码的哪些地方停留了最久（这叫“注视点”）。
核心魔法：EyeLayer 并不是简单地告诉 AI“看这里”，而是学习人类注意力的分布规律。它发现，人类的注意力不是均匀分布的，而是像聚光灯一样，有的地方很亮（重点），有的地方很暗（背景）。

3. 工作原理：多模态高斯混合（像“聚光灯”一样工作）

这是论文里最技术性的部分，但我们可以用**“聚光灯”**来比喻：

人类的阅读模式：当你读一段复杂的代码时，你的眼睛可能会在三个地方来回跳动：
1. 函数名（这是什么功能？）
2. 关键变量（数据从哪来？）
3. 返回结果（最后输出了什么？）
  这三个点就像三束聚光灯。
EyeLayer 的算法：它使用了一种叫**“多模态高斯混合”**的数学模型。
- 想象一下，AI 原本只有一束模糊的、均匀的光照亮整段代码。
- EyeLayer 介入后，它会根据学到的经验，瞬间把光变成三束清晰的聚光灯（这就是“多模态”），分别照在函数名、变量和返回结果上。
- 它用数学公式（高斯分布）来定义这些光斑的中心（ $\mu$ ，看哪里）和范围（ $\sigma$ ，看多宽）。
如何工作：
1. 预测：AI 看到一段代码，EyeLayer 先预测：“嘿，人类专家通常会盯着这三个地方看。”
2. 重分配：然后，EyeLayer 悄悄地把 AI 的“注意力”重新分配，把更多的权重（能量）给到那些被聚光灯照亮的地方。
3. 生成：AI 基于这些被“强化”的重点信息，生成更准确的代码总结。

4. 实验结果：效果立竿见影

研究人员把 EyeLayer 装进了几种不同大小的 AI 模型（从小的到大的，像 LLaMA 和 Qwen 等）里进行测试。

结果：装上 EyeLayer 的 AI，在代码总结任务上的表现全面提升。
比喻：就像那个新学徒，以前总结代码只能说出“大概意思”，现在戴上“眼动仪”后，能精准地指出：“这个函数通过 mapper 函数订阅了发布者，处理了异常。”
数据：在某些指标上，性能提升了高达 13%。更重要的是，这种提升不仅发生在小模型上，大模型也能从中受益，说明这种“人类经验”是通用的。

5. 为什么这很重要？

不仅仅是“更聪明”：这不仅仅是让 AI 背更多的代码，而是让 AI 学会像人类一样思考。
轻量级：EyeLayer 不需要重新训练整个巨大的 AI 模型，它只是一个小小的“插件”（模块），就像给手机装了一个新的镜头盖，成本低但效果好。
可解释性：因为它是基于人类注意力设计的，我们更容易理解 AI 为什么关注这段代码，而不是那段代码，这增加了人类对 AI 的信任。

总结

EyeLayer 就像是一个**“人类注意力导师”**。它把人类程序员在阅读代码时那种“抓重点”的本能，提炼成了一套数学规则，并教给了 AI。

以前，AI 是“死记硬背”；现在，有了 EyeLayer，AI 开始学会“像专家一样观察”。这让 AI 生成的代码总结不仅读起来通顺，而且真正抓住了代码的灵魂。这对于未来开发更智能、更懂人类的编程助手来说，是一个巨大的进步。

1. 研究背景与问题 (Problem)

核心任务：代码摘要（Code Summarization）旨在生成源代码的自然语言描述，是软件理解和维护的关键任务。
现状与局限：尽管大型语言模型（LLMs）在代码摘要任务上取得了显著进展，但它们生成的摘要往往缺乏与人类认知的一致性。现有的 LLM 主要基于海量代码 - 摘要对进行训练，但未能充分捕捉开发人员在理解代码时真正关注的信息焦点。
关键问题：人类在理解代码时的注意力模式（即“专家知识”）能否作为先验知识，进一步引导并增强基于 LLM 的代码摘要模型？
现有挑战：之前的研究（如 EyeTrans）尝试将眼动数据融入 Transformer，但主要局限于单一模型架构，且未验证其在现代大规模 LLM（如 LLaMA, Qwen）中的泛化能力和有效性。此外，如何将稀疏的眼动数据有效地转化为模型可学习的注意力先验，同时不破坏预训练模型的原有表征，是一个技术难点。

2. 方法论 (Methodology)

作者提出了 EyeLayer，一个轻量级的注意力增强模块，旨在将人类眼动数据（作为人类专家注意力的代理）无缝集成到 LLM 中。

2.1 核心洞察

开发人员在阅读代码时，注意力分布是不均匀的：他们会高度集中在语义关键的区域（如方法声明、变量定义），而边缘性地关注上下文。EyeLayer 将这种分布建模为一种可迁移的概率先验。

2.2 技术架构：多模态高斯混合 (Multimodal Gaussian Mixture)

EyeLayer 通过一个可学习的混合高斯分布来模拟人类的注意力分布：

输入：从预训练 Transformer 中间层截获的隐藏状态（Hidden States）。
代码级嵌入 (Code-Level Embedding)：首先对输入序列的语义上下文进行聚合，生成紧凑的语义向量。
稀疏门控机制 (Sparse Gating)：一个轻量级网络根据代码复杂度，动态决定激活多少个高斯分量（Mode）。简单代码可能只激活 1 个模式，复杂代码则激活多个。
参数预测：每个激活的高斯分量预测其中心位置 ( $\mu_k$ $μ_{k}$ ) 和扩散范围 ( $\sigma_k$ $σ_{k}$ )。
- $\mu_k$ ：代表注意力集中的语义位置。
- $\sigma_k$ ：代表注意力的覆盖范围（集中阅读 vs. 边缘浏览）。
注意力分布构建：最终生成一个平滑的、可微的注意力概率分布 $P(i)$ ，该分布模拟了人类在代码 token 上的注视频率。

2.3 因果感知注意力重分布 (Causal-Aware Attention Redistribution)

为了在不破坏 LLM 自回归生成特性（因果性）的前提下引入人类注意力引导，EyeLayer 采用了残差扰动策略，而非直接修改注意力掩码：

低秩变换 (Low-Rank Transformation)：通过低秩瓶颈生成扰动向量，防止过拟合稀疏的眼动数据。
注意力引导加权：利用预测的高斯分布 $P(i)$ 对扰动向量进行加权，使模型在语义关键区域（人类注视点）获得更强的信号。
自适应门控集成：通过一个门控机制控制人类引导信号的强度，将其作为残差加回原始隐藏状态。

2.4 训练策略

双数据集策略：
- 主任务：CodeXGLUE 数据集（Java 代码 - 摘要对），用于监督生成。
- 辅助任务：EyeTrans 数据集（27 名专业开发者的眼动追踪数据），用于对齐注意力分布。
交错训练 (Interleaved Training)：由于两个数据集规模差异巨大（数万对 vs. 数百个样本），采用交错训练策略，并配合 PCGrad (Projecting Conflicting Gradients) 算法解决多任务优化中的梯度冲突，确保辅助任务作为正则化项而非主导项。
架构适配：
- Decoder-only (LLaMA, Qwen)：通过 Hook 注入中间层，保持因果性。
- Encoder-only (CodeBERT)：在编码器输出后、解码器输入前进行调制，利用双向注意力优势。

3. 关键贡献 (Key Contributions)

框架创新：提出了将人类认知先验（眼动数据）作为可迁移概率先验融入 LLM 的框架，建立了人类注意力行为与 LLM 注意力形成之间的桥梁。
模块设计：设计了 Multimodal Gaussian EyeLayer，这是一个轻量级、类似推荐系统的模块。它通过可学习的高斯混合模型重分布代码嵌入，解耦了“基于眼动的重分布”与模型“内在注意力权重”，使得稀疏的人类信号能有效迁移到十亿参数级别的模型中。
系统性评估：在 5 个不同规模和架构的模型（CodeBERT, LLaMA-3.2-1B/3B, Qwen3-1.7B/4B）上进行了验证，证明了该方法在 CodeXGLUE 基准上的普适性和强迁移性。
开源贡献：公开了实现脚本和数据集，促进可复现性研究。

4. 实验结果 (Results)

实验在 CodeXGLUE (Java) 数据集上进行，评估指标包括 BLEU-4, ROUGE-L, METEOR 和 BERTScore。

整体性能提升 (RQ1)：
- EyeLayer 在所有测试模型上均优于标准的监督微调（SFT）基线。
- 最大提升：在 BLEU-4 指标上最高提升了 13.17%（具体数值因模型而异，例如 Qwen3-1.7B 的 ROUGE-L 提升了 5.28，METEOR 提升了 5.43）。
- 小模型受益更大：较小的模型（如 1B 参数）或未经指令微调的基座模型从眼动先验中获益更多，表明人类注意力信号为模型提供了有效的归纳偏置。
插入位置影响 (RQ2)：
- 在 LLaMA-3.2-1B 上，将 EyeLayer 插入到**深层中间层（如第 13 层）**效果最佳。
- 过早插入会干扰浅层特征提取，过晚插入则可能影响生成流畅度。最佳位置处于语义表示成熟但尚未完全固定的阶段。
架构泛化性 (RQ3)：
- 在 Encoder-only 模型 (CodeBERT) 上同样取得了显著提升（METEOR +1.83），证明人类注意力模式是架构无关的语义重要性线索。
多模态设计有效性 (RQ4)：
- 多模态 vs. 单模态：包含多个高斯分量的多模态设计显著优于单高斯分布设计。
- 单模态设计无法同时捕捉代码中的多个关注点（如同时关注函数签名和实现细节），而多模态设计能自适应地激活 1-3 个模式，更好地模拟人类复杂的认知过程。

5. 意义与影响 (Significance)

认知对齐：证明了将人类认知过程（通过眼动追踪量化）引入 AI 模型，可以显著提升模型在特定领域（软件工程）的表现，使模型生成的摘要更符合人类的思维逻辑和关注点。
高效增强：EyeLayer 是一个轻量级模块，无需重新训练整个 LLM，即可利用极少量的眼动数据（仅 625 个样本）带来显著的性能提升，具有很高的实用价值。
可解释性与信任：通过让模型“像人一样关注代码”，增强了 AI 系统的可解释性，有助于建立开发者对 AI 辅助编程工具的信任。
未来方向：该方法不仅适用于代码摘要，还可推广至代码审查、缺陷定位、程序修复等同样依赖代码理解的任务。未来的工作可以探索更丰富的认知信号（如眼跳、注视切换）以及跨语言、跨任务的泛化能力。

总结：EyeLayer 成功地将人类专家在代码阅读中的注意力模式转化为一种可学习的概率先验，通过轻量级的高斯混合模块注入到 LLM 中。实验表明，这种“人机协同”的注意力引导机制能够显著提升代码摘要的质量，特别是在语义准确性和功能意图捕捉方面，为构建更智能、更符合人类认知的软件工程工具提供了新的范式。