Do not copy and paste! Rewriting strategies for code retrieval
本文提出并评估了一套用于代码检索的基于大语言模型的改写策略层级，表明虽然全自然语言查询 - 语料库改写显著提升了轻量级编码器的性能，但其收益具有情境依赖性，且可通过一种新的令牌熵指标（Delta H）进行预测，以优化改写的成本效益权衡。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在一座庞大而混乱的图书馆中寻找某份特定的食谱。问题在于，这座图书馆的搜索引擎（即“编码器”）有点死板。它并不真正理解食谱的作用；它只是查看所使用的具体词汇和格式。如果你搜索“如何制作蛋糕”，但图书馆里的食谱标题是“制作海绵蛋糕”，那么即使含义完全相同，搜索引擎也可能因为用词不完全匹配而错过它。
本文旨在教导搜索引擎超越表面词汇，理解代码的实际含义。作者们在搜索引擎查看代码之前，测试了几种不同的“翻译”代码的方法。
以下是他们实验和发现的分解说明，使用了简单的类比：
问题：死板的搜索引擎
当前的代码搜索工具经常因同一事物的不同写法而感到困惑。这就像如果图书管理员只有在你的拼写和字体与书籍封面完全一致时，才能找到书籍。如果你询问“如何循环”，但书中写的是“遍历列表”，图书管理员可能会说：“我没有那个。”
解决方案：“翻译器”（重写）
作者们尝试使用智能人工智能（大语言模型，LLM）在搜索引擎看到代码之前重写代码。他们测试了三种不同的“翻译风格”：
- 风格化重述：这可以看作是一种“风格修复”。人工智能将代码重写得更整洁、更统一，就像将潦草的手写笔记编辑成整洁的印刷体，但仍保持其为代码。
- 伪代码：这就像将代码翻译成“简化的操作手册”。它不完全属于人类语言，但也并非严格的代码。就像说：“首先检查数字，然后加一，重复直到找到为止。”
- 完整自然语言：这是最剧烈的改变。人工智能将代码完全翻译成一句普通的英语句子。搜索引擎看到的不再是代码，而是：“通过忽略负数并从一开始计数，返回最小的缺失正整数。”
使用翻译器的两种方式
作者们测试了应用这些翻译的两种方法：
- “离线”方法（仅语料库）：想象一下，你一次性重写整个“图书馆”的所有书籍并将其上架。然后，当用户提问时，你使用原始问题搜索这些重写后的书籍。
- 结果：这经常失败。这就像将所有书籍翻译成法语，却用英语提问。搜索引擎感到困惑，因为问题和答案不再使用同一种“语言”。
- “在线”方法（查询 + 语料库）：在这里，你既翻译图书馆，也在搜索前将用户的问题翻译成相同的风格。
- 结果：这效果好得多。这就像有一位双语图书管理员，在匹配之前将问题和书籍都翻译成同一种语言。
关键发现
1. “完整翻译”获胜（针对代码）
当搜索引擎寻找代码时，将代码翻译成完整自然语言（方法 #3）并结合翻译问题（在线方法），带来了最大的提升。
- 类比：这就像意识到，对于特定类型的拼图，用 plain English 描述图片比直接尝试匹配拼图块的形状能更快地找到正确的碎片。
- 限制：这仅在搜索引擎“轻量级”（自身不够智能）时有帮助。如果搜索引擎本身已经非常强大，重写带来的帮助就不大。
2. “离线”陷阱
重写图书馆但不重写问题（离线方法）实际上在约 62% 的情况下使情况变得更糟。
- 类比：这就像将一本食谱翻译成西班牙语，却用英语询问食谱。图书管理员无法将请求与书籍匹配，因此你一无所获。
3. “熵”水晶球
作者们发现了一个巧妙的技巧，可以在运行搜索之前预测重写是否会有帮助。他们测量了一种称为“令牌熵”（Token Entropy）的东西（这是一种衡量词汇多样性和丰富程度的复杂方式）。
- 隐喻：将代码想象成一袋弹珠。如果袋子里只有 3 种颜色的弹珠（低熵），搜索引擎很容易感到困惑。如果重写过程将这袋弹珠变成了包含许多颜色的彩虹（高熵），通常意味着搜索引擎的表现会更好。
- 神奇之处：他们发现，如果重写过程显著增加了这种“色彩丰富度”（熵），那么搜索结果将会改善就是一个稳妥的赌注。这充当了一个廉价的“试驾”，以判断翻译是否值得付出努力。
结论
如果你拥有一个简单的搜索工具并且正在寻找代码，将代码翻译成普通英语（同时也翻译问题）是一种强大的修复搜索的方法。然而，如果你的搜索工具已经非常智能，或者你正在搜索的内容本身已经是普通英语，那么你不应该这样做。
作者们还给了我们一个“试金石”（熵检查），用来告诉我们这种翻译技巧何时真正有效，从而避免我们在无效的方法上浪费时间。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。