Structure as scaffolding: How rubric-anchored LLM feedback enhances revision engagement in academic argumentation
本研究表明，与呈现为非结构化列表或使用自我修订检查表相比，将大语言模型反馈组织在符合评分标准的标题之下，能显著提升本科生在修订过程中的参与度以及其论证性写作修订的质量。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一名正试图在时限结束前修改一篇混乱论文的学生。你向 AI 求助，结果它给了你一份冗长且无序的建议列表：“改一下这个逗号”、“移动这个段落”、“明确你的中心论点”、“增加更多数据”、“检查拼写”等等。
你只剩 15 分钟了。你是先去改那个逗号，还是先去改中心论点？这份列表并没有告诉你什么最重要。最终，你把时间都花在了修改那些容易发现的小拼写错误上，而论证中那些重大且重要的问题却依然存在。
这正是论文《作为脚手架的结构》（Structure as scaffolding）试图解决的问题。研究者 Jing Wei 提出了一个疑问：将 AI 的反馈整理成整齐、带有标签的类别，是否比仅仅给出一大堆平铺直叙的评论更能帮助学生改进他们的论文？
以下是这项研究的故事，通过简单的方式进行了解释。
实验：获取反馈的三种方式
研究者在一名学习学术论证的大学课堂上进行了一项实验。105 名学生被分成三组，在一次限时修改任务中，每组获得的反馈格式各不相同：
- “有序型”组 (RA)： AI 给出的反馈经过了分类，就像菜单一样清晰。例如，设有“论点”（Claims）部分、“证据”（Evidence）部分和“推理”（Reasoning）部分。这就像得到一个工具箱，每个工具都有自己贴好标签的抽屉。
- “平铺列表型”组 (NA)： AI 给出的建议完全相同，字数也完全一样，但它只是一个没有标题的长编号列表。这就像把工具箱里的所有工具直接倒在地上，堆成一堆。
- “清单型”组 (对照组)： 这些学生没有得到针对其特定论文的 AI 评论。相反，他们得到的是一份通用的清单，列出了需要检查的事项（例如，“你是否包含了证据？”），然后由他们自己去寻找问题。
结果：“有序型”组胜出
当学生们完成论文修改后，研究者查看了结果。情况如下：
- “有序型”组 (RA) 表现最好。 他们的最终论文最强，尤其是在写作的难点部分：提出清晰的论点、使用证据以及解释其推理过程。
- “平铺列表型”组 (NA) 表现尚可， 但不如有序组。他们确实做了一些修改，但似乎在大量的建议堆里迷失了方向。
- “清单型”组 (Control) 做的工作最少。 他们对论文进行的修改也最少。
“为什么” (脚手架隐喻)
论文使用了一个名为**“作为脚手架的结构”**的隐喻。
想象正在盖房子。
- “平铺列表” 就像是递给你一袋砖头、木头和钉子，并附上一张纸条说：“造一座房子。”你必须弄清楚哪块砖该放哪，哪个钉子固定屋顶，以及建造的先后顺序。这让人感到不知所措。
- “有序反馈” 则像是围绕着房子搭建了一个脚手架（临时框架）。脚手架上有标记好的平台：“地基层”、“墙体层”、“屋顶层”。它准确地告诉你下一步该站在哪里，以及该建造什么。
研究发现，当 AI 反馈被组织在标题之下（即脚手架）时，学生们不必浪费有限的时间去思考先修改什么。他们可以立即明白：“哦，这条建议是在‘推理’类别下的，所以我需要改进我的逻辑。”这让他们能够专注于构建强大论证这一艰巨且重要的工作，而不是仅仅纠结于修改微小的拼写错误。
数据实际显示了什么
研究者通过两种证据来证明这一点：
- “编辑距离”（修改程度）： 获得有序反馈的学生对论文进行了更大规模、更深入的修改。他们不仅仅是微调一个词，而是重写了整个章节以改进逻辑。
- “吸收率”（是否理解了？）： 研究者仔细观察了学生是否真正理解并应用了建议。
- 在有序组中，学生更有可能正确理解并应用关于其论证的复杂建议。
- 在平铺列表组中，学生有时会误解建议。例如，如果 AI 说“解释这个数字并将其与你的论点联系起来”，学生可能会仅仅加上那个数字，却忘记了进行解释，因为这条指令被埋在了一长串列表中。标题让目标变得更加清晰。
这意味着什么（以及它并不意味着什么）
论文的观点是：
- 将 AI 反馈组织成类别（如“论点”、“证据”、“推理”）有助于学生在时间压力下更好地利用这些反馈。
- 它帮助学生关注写作中的“大局观”部分（逻辑与论证），而非仅仅是细节。
- 它充当了“脚手架”，减少了决定修改什么的心理负担。
论文并未声称：
- AI 反馈总是优于人类反馈。
- 这种方法适用于每种类型的写作或每一位学生（该研究是针对特定课程的短期研究）。
- 建议的内容有所不同。建议的内容是一样的；改变的仅仅是其包装方式（结构）。
核心结论
如果你是一名正在使用 AI 进行写作的教师或学生，这项研究给出的建议是：不要只是从 AI 那里复制粘贴一大段文字。 要求 AI 将其建议分类，以匹配你的评分标准（例如：“这是关于你论证部分的反馈”，“这是关于你证据部分的反馈”）。这种改变信息呈现方式的简单举措，就像是一个得力的向导，使学生在截止日期到来之前，能更容易地真正提升其写作水平。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。