JMigBench: A Benchmark for Evaluating LLMs on Source Code Migration (Java 8 to Java 11)
本文构建了名为 JMigBench 的基准测试集，用于评估大语言模型在 Java 8 到 Java 11 代码迁移任务中的表现，结果表明现有模型（如 Mistral Codestral）虽能处理简单的 API 替换，但在复杂迁移场景下仍难以完全取代人工。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这是一篇关于如何利用人工智能（AI）来帮助程序员“升级旧代码”的研究论文。为了让你轻松理解，我们可以把这个过程想象成一个**“老旧房屋翻新工程”**。
核心背景：老房子的“违章建筑”问题
想象一下，你有一栋建于 2014 年（相当于 Java 8 版本）的老房子。随着时代的发展，政府（Java 语言开发者）出台了新的建筑规范（Java 11 版本）。
有些旧的建筑材料（过时的 API/代码语法）现在被宣布为“不安全”或“不再允许使用”了。如果你不把这些旧材料换成现代化的材料，你的房子可能会面临安全隐患，或者以后根本无法通过政府的检查（程序无法运行或维护困难）。
对于程序员来说，把成千上万行旧代码改成新规范，就像要把一整座城市的旧房子全部翻新一遍，既枯燥又累人。
这篇论文做了什么？
研究人员想看看，现在的“智能装修机器人”（大语言模型，比如 Mistral Codestral）能不能帮我们干这个活。
为了测试这个机器人，他们做了一件事：建立了一个“模拟翻新考场”——JMigBench。
- 编写考卷（构建数据集）： 他们找来了 45 对“旧房设计图”（Java 8 代码）和“新房设计图”（Java 11 代码）。这些图纸涵盖了 8 种不同难度的“违章建筑”类型。
- 让机器人考试（模型评估）： 他们把旧图纸丢给 AI 机器人，对它说：“你是资深工程师，请把这些旧图纸改成符合新规范的设计图，且保证房子结构不变。”
- 打分（评估指标）： 他们不仅看机器人画出来的图纸长得像不像新图纸（语义相似度），还专门盯着看：机器人有没有把那些“违章材料”给换掉（迁移正确性）。
考试结果：机器人表现如何？
结果有点“喜忧参半”：
- 遇到“换个灯泡”的小活儿（简单迁移）： 机器人表现得非常出色！如果只是把一个旧型号的灯泡换成新型号（比如把
Collections.singletonList换成List.of），机器人能做得完美无缺。在 11% 的情况下，它画出的图纸和专家画的一模一样。 - 遇到“拆墙改水电”的大活儿（复杂迁移）： 机器人就开始“抓瞎”了。当遇到一些非常复杂的旧系统（比如论文里提到的 CORBA 或 JAX-WS，你可以理解为极其复杂的中央空调或老式电路系统）时，机器人完全不知道该怎么改，甚至连旧的违章材料都懒得动。
总结：目前的结论
这篇论文告诉我们：现在的 AI 装修机器人还不能完全取代人类装修队。
- 它的作用： 它可以帮你干一些重复、简单的“体力活”（比如换个开关、换个水龙头），这确实能节省不少时间。
- 它的局限： 一旦涉及到复杂的结构调整，它就会犯错。所以，人类高级工程师（程序员）依然是工地上的灵魂人物，必须盯着它，防止它把房子改坏了。
一句话总结：AI 现在的水平是“优秀的学徒”，能干杂活，但干不了大工程。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。