Multimodal Prompt Learning with Vision--Language Foundation Models for Automated Storyboard Assessment and Formative Feedback in Film Education
本文介绍了 CRaFT，这是一个利用冻结的视觉-语言基础模型和准则约束最优传输来实现自动化分镜脚本评估并生成基于证据的形成性反馈的多模态提示学习框架，该框架在多个公开数据集上实现了最先进的性能，同时支持与教师对齐的评估协议。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在电影制作领域，分镜脚本（storyboard）是蓝图。在摄像机正式开拍之前，导演和学生会通过绘制一系列图像来规划序列，决定摄像机的位置、角色的动作以及一个场景如何过渡到下一个场景。教授这项技艺是一门精妙的艺术。一位导师在看一张草图时，不仅要判断其技术是否正确，还要判断它是否清晰地讲述了故事，动作是否合理，以及节奏感是否恰当。这需要对视觉语言和叙事意图有深刻的理解。几十年来，这一过程完全由人工完成，依赖于教师的经验和判断力来引导学生。但随着人工智能已经学会识别和理解图像与文本，研究人员开始询问，机器是否也能提供类似的指导。挑战在于，计算机可以轻易识别出“特写”或“摇镜头”，但它很难理解为什么特定的镜头排列可能会无法传达悬疑感，或者为什么突然的剪辑会让观众感到困惑。
一位研究人员开发了一种新系统，旨在弥补这一差距，通过模拟人类导师细致且基于证据的推理过程，为分镜脚本提供自动化反馈。他们将该系统称为 CRaFT。该系统并非仅仅观察一幅画作并给出一个通用的分数，而是将分镜脚本视为一张连接的事件地图。它同时分析视觉面板及其随附的文本描述，寻找支持或反驳故事目标的特定线索。该系统的基础是已经学会识别物体和场景的大型人工智能模型，但研究人员增加了一个新的逻辑层。这个逻辑层迫使计算机将每一条反馈直接与分镜脚本的具体部分联系起来，确保诸如“修正节奏”之类的建议都有具体的证据支撑，例如指出哪一段特定的面板序列显得过慢或过快。
研究人员使用来自真实电影和视频编辑数据集的数千个场景来测试该系统，这些场景作为学生作品的替代物。他们创建了一套规则，即评分标准（rubric），用于评判分镜脚本的五个关键方面：构图如何框定主体、动作在镜头间转换是否流畅、故事是否清晰、动作是否易于理解，以及时机感是否正确。在这些测试中，该系统成功地以高准确度识别了这些要素，表现优于以往那些试图在没有如此严格规则的情况下猜测场景质量的方法。例如，当被要求判断一个场景的连贯性时，系统可以精准定位角色眼神或动作在何处破坏了流畅度，而不是仅仅给出一个模糊的警告说出了问题。
至关重要的是，该系统的设计非常谨慎。当视觉支持不足或不确定性过高时，它会明确拒绝评分或提供反馈。这种“弃权”（abstention）能力是一项核心安全机制，确保系统仅在拥有充分支持且能够处理不确定性时才提供反馈。当它提供反馈时，会提出具体的、可测试的修改建议。它可能会建议重新排列两个面板以改善动作流，或者重写说明文字以澄清角色的动机。系统会计算这些改动是否可能根据其所学规则提高评分，并且只推荐那些极有可能产生帮助的修改方案。
该研究对已实现的目标和尚未实现的目标做了明确的区分。研究人员谨慎地指出，其系统是在公开电影片段和计算机生成的模拟场景上进行测试的，而非由人类教师评分的实际学生作业。因此，虽然该系统证明了它能够识别电影模式并提供逻辑性、基于证据的建议，但它尚未被证明能提高学生的学习效果，也无法取代人类导师细致入微的判断。结果表明，机器可以作为一个强大的分析工具，能够将复杂的视觉故事分解为组成部分，并提供具体且有据可依的建议。这代表了迈向未来教育的一大步，即通过使评论背后的推理过程变得可见且明确，从而辅助教学，并将最终的判断和创意对话留给人类教师。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。