InEdit-Bench: Benchmarking Intermediate Logical Pathways for Intelligent Image Editing Models

本文提出了首个专注于评估图像编辑模型中间逻辑路径推理能力的基准 InEdit-Bench，通过涵盖四类任务的测试集和细粒度评估标准，揭示了当前主流模型在处理动态推理与多步演化任务时的显著不足，旨在推动更智能的多模态生成模型发展。

要点

这篇论文介绍了一个名为 InEdit-Bench 的新工具，它就像是一个专门用来“考考”人工智能（AI）在图片编辑方面是否真的“懂逻辑”的考试。

为了让你更容易理解，我们可以把现在的 AI 图片编辑比作一个只会“变魔术”的魔术师，而 InEdit-Bench 则是为了测试它是否真的懂“变魔术的原理”。

以下是用通俗语言和比喻对这篇论文的解读：

1. 核心问题：AI 只会“跳步”，不会“走路”

• 现状：现在的 AI 图片编辑模型（比如把猫变成狗，把白天变成黑夜）非常厉害。如果你给它一张图和一个指令（“把毛衣变成红色”），它能直接给你一张红色的毛衣图。这就像魔术师直接变出了兔子。
• 缺陷：但是，如果你让它展示**“怎么变”**的过程，它就懵了。
  • 比喻：想象你要教一个人做蛋糕。现在的 AI 能直接给你端出一个完美的蛋糕（结果），但它无法告诉你：先打蛋、再筛粉、最后进烤箱的中间步骤。如果它强行画出来，可能会变成：生鸡蛋直接变成烤好的蛋糕，中间没有过渡，或者步骤乱套（比如先烤了再打蛋）。
  • 论文观点：AI 缺乏**“中间逻辑路径”**的推理能力。它不知道从 A 点到 B 点，中间需要经过哪些合乎逻辑的步骤。

2. 解决方案：InEdit-Bench（AI 逻辑大考）

为了解决这个问题，作者团队设计了一个专门的**“考试系统”**，叫 InEdit-Bench。

• 考试形式：

  • 给 AI 看一张开始图（比如一堆散乱的积木）和一张结束图（比如搭好的城堡）。
  • 考题：请画出从开始到结束的所有中间步骤（比如先搭底座，再搭墙，最后封顶）。
  • 要求：AI 必须生成一张包含多个格子的图，每个格子代表一个步骤，而且步骤之间必须逻辑通顺、自然流畅。

• 考什么内容？（四大类题目）

  1. 状态转换：像拼图一样，把散乱的零件组装起来。
  2. 动态过程：像拍电影一样，展示连续的动作（比如蜘蛛结网、人跳远）。
  3. 时间序列：展示随时间变化的过程（比如花朵从含苞到盛开，或者冰川融化）。
  4. 科学模拟：展示符合物理/化学/生物规律的过程（比如细胞分裂、镁条燃烧）。

3. 怎么打分？（六维评分表）

这个考试不仅仅看最后画得像不像，而是用六把尺子来衡量：

1. 外观一致性：步骤里的画风要统一，不能一会儿是卡通，一会儿是写实。
2. 感知质量：图片要清晰，不能模糊或变形。
3. 语义一致性：内容要对得上指令（比如指令说变红，不能变蓝）。
4. 逻辑连贯性（重点）：步骤 A 到步骤 B 必须自然。不能出现“昨天还是婴儿，明天直接变老人，中间没童年”这种逻辑跳跃。
5. 科学合理性（重点）：必须符合科学常识。比如水结冰，不能先结冰再变冷。
6. 过程合理性：如果给两个不同的路径指令（比如“从上往下涂色”和“从下往上涂色”），AI 能不能真的画出两种不同的过程，而不是画出一样的东西糊弄人。

4. 考试结果：AI 们表现如何？

作者找了 14 个目前最厉害的 AI 模型来参加这次考试，结果非常惨烈：

• 整体表现：大部分 AI 在“多步骤推理”上几乎不及格。
• 头部选手：即使是表现最好的商业模型（如 GPT-Image-1），完全做对（所有步骤都完美）的比例也只有 16.75%。这意味着 100 道题里，它只能做对不到 17 道。
• 开源模型：很多开源模型甚至得 0 分。它们要么直接跳过中间步骤，要么把步骤画得乱七八糟，完全不符合逻辑。
• 具体痛点：
  • 在科学模拟（如化学反应）和状态转换（如组装物体）这类需要强逻辑的题目上，AI 表现最差。
  • 它们擅长画“好看”的图，但不懂“怎么变”的因果关系。

5. 这篇论文的意义是什么？

这就好比在赛车界，以前我们只比谁的车终点跑得快（单步编辑），现在我们发现，很多车根本不会过弯（多步逻辑推理）。

• InEdit-Bench 的作用：它就像是一个**“路考”**，专门揪出那些只会直线加速、不会转弯的 AI。
• 未来目标：通过这个考试，作者希望推动 AI 从“只会变魔术”进化成“懂原理的工程师”。未来的 AI 不仅要能修好图片，还要能理解图片变化的因果逻辑，真正具备“智能”。

总结

简单来说，InEdit-Bench 就是给 AI 出了一道**“看图说话”的填空题**，要求它把“开始”和“结束”之间的中间过程补全。目前的 AI 就像是一个只会蒙答案的学生，虽然偶尔能蒙对，但大多数时候逻辑不通。这篇论文就是为了给 AI 立规矩，逼着它们学会**“一步步思考”，而不仅仅是“一步到位”**。

技术摘要

InEdit-Bench：智能图像编辑模型中间逻辑路径推理能力基准测试技术总结

1. 研究背景与问题定义 (Problem)

现有的多模态生成模型在静态图像编辑任务（如单步指令修改、图像生成）上已取得显著进展，但在处理复杂动态场景和多步推理方面存在严重不足。

• 核心痛点：当前模型通常只能关注“起点”和“终点”，缺乏对连接两者的**中间逻辑路径（Intermediate Logical Pathways）**的建模能力。
• 具体挑战：在从初始状态到最终状态的演变过程中，模型难以生成符合因果一致性（Causal Consistency）和视觉合理性（Visual Plausibility）的中间步骤序列。现有的基准测试（Benchmarks）多侧重于评估最终输出结果的质量，缺乏对“过程逻辑”和“动态推理”能力的量化评估。
• 研究缺口：缺乏一个能够系统评估模型在动态推理、多步规划及中间状态演化理解能力的标准化基准。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 InEdit-Bench，这是首个专门针对图像编辑中中间逻辑路径推理的评估基准。

2.1 数据集构建 (Dataset Construction)

InEdit-Bench 包含 237 个 精心标注的高质量测试样本，涵盖 4 个核心任务类别 和 16 个子任务：

1. 状态转换 (State Transition)：涉及离散的状态变化。
   • 子任务：构建与组装、装饰与绘画、组织与布局、处理与变形。
2. 动态过程 (Dynamic Process)：涉及连续的流体变化。
   • 子任务：生物与自然、协调运动、日常生活、机械操作、突发事件。
3. 时间序列 (Temporal Sequence)：关注随时间推移的渐进演化。
   • 子任务：环境与社会、生长与衰变、物理变换、时间测量。
4. 科学模拟 (Scientific Simulation)：严格遵循物理、化学、生物定律。
   • 子任务：生物学、化学、物理学。

数据格式：每个样本包含初始图像、目标图像、文本指令，以及由大语言模型（LMM）生成并经人工校验的关键中间步骤摘要。模型需输出包含 $N$ 个网格的图像，每个网格代表演变过程中的一个关键阶段。

2.2 评估指标体系 (Evaluation Metrics)

为了全面评估生成路径的质量，InEdit-Bench 提出了 6 个维度的评估指标，分为两类：

• 基础视觉质量指标（沿用现有标准）：

  1. 外观一致性 (Appearance Consistency)：各阶段视觉风格与属性的保持。
  2. 感知质量 (Perceptual Quality)：图像的真实感、清晰度及伪影控制。
  3. 语义一致性 (Semantic Consistency)：最终内容与编辑目标的对齐程度。

• 过程导向创新指标（专为多步推理设计）：

  4. 逻辑连贯性 (Logical Coherence)：评估相邻阶段之间的过渡是否自然、流畅，是否存在逻辑跳跃、倒退或冗余。
  5. 科学合理性 (Scientific Plausibility)：针对科学模拟和动态过程，利用知识清单 (Knowledge Checklists) 验证中间步骤是否符合科学原理（如物理定律、化学反应机制）。
  6. 过程可行性 (Process Plausibility)：通过设定不同的路径约束（Path Constraints），评估模型是否能理解并执行多种可行的中间路径，体现对非确定性过程的推理能力。

2.3 评估方法

采用 LMM-as-a-Judge（以 LMM 为裁判）范式，使用 GPT-4o 作为自动评估器。评估器根据精心设计的提示词（Prompt）和评分标准，对生成的多格图像进行打分。研究通过人工评估验证了 LMM 评分与人类评分的高度相关性（Pearson 相关系数 $r=0.96$）。

3. 主要贡献 (Key Contributions)

1. 首个中间路径推理基准：提出了 InEdit-Bench，填补了多步图像编辑和动态逻辑推理评估领域的空白，将评估焦点从“终点”转移到了“中间逻辑路径”。
2. 多维度的评估协议：构建了包含 4 大类、16 子任务的精细数据集，并建立了 6 维度的评估体系（特别是引入了逻辑连贯性、科学合理性和过程可行性），为复杂编辑路径的评估提供了坚实基础。
3. 全面的模型性能分析：对 14 种代表性模型（包括 GPT-Image-1、Nano-Banana 等闭源模型及 Qwen-Image-Edit、OmniGen 等开源模型）进行了系统评估，揭示了当前技术在多步编辑和动态推理方面的具体短板。

4. 实验结果 (Results)

对 14 个模型的评估结果显示，当前模型在中间逻辑路径推理方面存在普遍且显著的缺陷：

• 整体表现：即使是表现最好的闭源模型 GPT-Image-1，其综合平均分为 81.33，但准确率（Accuracy，即所有指标均达满分）仅为 16.75%。Nano-Banana 紧随其后（75.23 分，13.30% 准确率）。
• 开源模型差距：大多数开源模型（如 Emu1, OmniGen, Step1X-Edit 等）综合得分较低（普遍低于 50 分），且在语义一致性和逻辑连贯性上得分极低，部分模型准确率为 0%。
• 任务难度分层：
  • 状态转换任务对所有模型最具挑战性，得分普遍低于时间序列和动态过程任务。
  • 科学模拟任务在引入科学合理性指标后，模型表现进一步下降，显示出模型在深层科学原理建模上的不足。
• 具体短板：
  • 模型难以处理长程依赖和多阶段因果推理。
  • 在生成中间步骤时，常出现逻辑跳跃、步骤冗余、倒退（Regression）或关键节点缺失。
  • 对科学定律的遵循能力较弱，生成的物理/化学过程往往不符合常识。

5. 研究意义 (Significance)

• 推动技术演进：InEdit-Bench 为智能图像编辑模型设定了新的进化方向，即从静态的单步编辑向动态的、具备推理能力的多步过程建模转变。
• 揭示研究盲区：实验结果明确指出了当前大模型在“过程规划”和“因果推理”方面的系统性缺陷，为未来的模型架构改进（如引入思维链、强化规划模块）提供了明确指引。
• 标准化评估工具：提供了一个标准化的、具有挑战性的测试平台，有助于社区更客观地比较不同模型在复杂视觉任务中的真实推理能力，加速可控视觉编辑技术的发展。

总结：InEdit-Bench 不仅是一个基准测试，更是一个信号，表明智能图像编辑的下一个前沿在于**“理解过程”而非仅仅“生成结果”**。未来的模型需要具备更强的逻辑推理和动态规划能力，才能胜任复杂的现实世界视觉编辑任务。