TACIT Benchmark: A Programmatic Visual Reasoning Benchmark for Generative and Discriminative Models

本文介绍了 TACIT 基准，这是一个包含 10 个任务、覆盖 6 个推理领域的程序化视觉推理基准，通过生成式（确定性验证）和判别式（含结构化近邻干扰项的五选一）双轨评估机制，旨在克服现有基准依赖自然语言提示、推理模态狭窄及评分主观性等局限。

要点

这篇论文介绍了一个名为 TACIT 的新“考试”，专门用来测试人工智能（AI）到底是不是真的“看懂”了图片，还是只是在“背答案”或“猜谜语”。

为了让你更容易理解，我们可以把现在的 AI 想象成一个正在参加入学考试的学生。

1. 以前的考试有什么问题？（旧基准的缺陷）

以前的 AI 视觉考试（Benchmark）主要有两个大毛病：

• 毛病一：太依赖“语文”能力。
  以前的题目通常是：“看图，然后回答这个问题：‘图里的小猫在左边还是右边？’"
  这就好比，学生可能根本没看懂图，只是通过识别题目里的文字关键词（比如“左边”），结合以前背过的题库，就猜出了答案。这测的是阅读理解，而不是看图能力。
• 毛病二：考试方式太单一，或者评分太主观。
  要么只让做选择题（选 A、B、C、D），要么让人工去打分。
  • 做选择题：学生可能只是运气好蒙对了，或者发现“选 C 的人最多”，但这不代表他真会解题。
  • 人工打分：就像老师改作文，每个人标准不一样，今天心情好给高分，明天心情差给低分，这不公平，也没法重复验证。

2. TACIT 考试是怎么设计的？（核心创新）

TACIT 就像一位极其严格的“盲眼”考官，它设计了三个核心规则来确保公平和真实：

规则一：全图说话，禁止“语文作弊” (Language Minimality)

• 比喻：想象一下，考试卷上没有任何文字题目。所有的指令都画在图上。
  • 比如，图上画了一个迷宫，起点是个绿点，终点是个红点，中间有些门（传送门）。你不需要读“请画出从起点到终点的路径”，你只需要看懂这些符号，然后画出那条路。
  • 这就强迫 AI 必须真的去“思考”空间关系，而不能靠读题来作弊。

规则二：双重考核——“动手做”和“挑错” (Dual-Track Evaluation)

这是 TACIT 最聪明的地方，它把考试分成了两部分，就像测试一个厨师：

• Track 1（动手做/生成）：给你食材（题目图），让你亲手做出一道菜（生成解决方案图片）。
  • 目的：看它有没有创造力和构建能力。
• Track 2（挑错/判别）：给你一道题和 5 个选项（1 个对的，4 个错的），让你选出正确答案。
  • 目的：看它有没有识别能力。
• 为什么这很重要？
  如果一个学生“挑错”全对，但“动手做”全错，说明他眼高手低——他能认出什么是好答案，但自己根本做不出来。TACIT 能精准地测出这种差距。

规则三：机器阅卷，绝对客观 (Deterministic Verification)

• 比喻：以前是老师拿红笔改卷，现在是用精密的尺子和计算器来改卷。
  • 如果你画了一条迷宫路线，系统不会问“我觉得这像不像路”，而是直接运行代码：“检查起点是不是绿的？终点是不是红的？路有没有穿过墙壁？路断开了吗？”
  • 只要有一个小错误，系统直接判“挂科”。没有模糊地带，没有人情分。

3. 考试考什么内容？（6 大领域，10 种题型）

TACIT 准备了 6000 道题目，涵盖了人类视觉推理的 6 个主要方面，就像给 AI 的“大脑”做了个全身体检：

1. 空间导航 (Spatial)：比如多层迷宫。你要在几层楼之间穿梭，还要利用传送门。
   • AI 挑战：不能走墙，不能断路。
2. 抽象图案 (Pattern)：比如瑞文推理矩阵（那种缺了一块让你补全的智力题）。
   • AI 挑战：发现图形变化的规律（旋转、变色、数量增减）。
3. 因果模拟 (Causal)：比如细胞自动机（像《生命游戏》）。
   • AI 挑战：给你初始状态和规则，预测下一秒的样子；或者反过来，给你开始和结束，猜中间的规则。
4. 逻辑约束 (Logical)：比如视觉逻辑网格（类似数独，但用图形代替数字）。
   • AI 挑战：根据箭头和禁止符号，把图形填进格子里，不能冲突。
5. 图论 (Graph Theory)：比如给地图涂色（相邻的不能同色）或判断两张图是不是同构（长得像不像，只是摆放位置不同）。
   • AI 挑战：处理复杂的连接关系。
6. 拓扑与几何 (Topology & Geometry)：比如解绳结（这是个死结还是能解开的？）或三视图还原（给你正面、侧面、顶面，让你画出 3D 立体图）。
   • AI 挑战：理解空间结构和三维空间。

4. 这个考试的“陷阱”设计 (Near-Miss Distractors)

在选择题环节，TACIT 设计的 4 个错误选项（干扰项）非常狡猾。

• 比喻：就像在 5 个苹果里混了 4 个烂苹果。但这 4 个烂苹果只烂了一点点（比如少了一个角，或者颜色偏了一点点）。
• 目的：AI 不能靠“一眼扫过去觉得不像”就排除错误答案。它必须仔细检查每一个结构细节，才能发现那个微小的错误。这防止了 AI 走捷径。

5. 总结：TACIT 意味着什么？

简单来说，TACIT 是一个去除了“语文干扰”、拥有“双重考核机制”、且由“机器自动阅卷”的硬核视觉推理考试。

• 对研究者：它提供了一个透明的工具，能真正看清 AI 是“真懂”还是“假懂”。
• 对大众：它标志着 AI 正在从“只会背题的学霸”向“真正能动手解决问题的工程师”进化。

这篇论文不仅发布了 6000 道题目，还公开了所有出题和阅卷的代码，让全世界的科学家都能用同样的标准来测试和升级他们的 AI 模型。这就像给 AI 界发了一套标准化的“视力表”和“操作手册”。

技术摘要

TACIT 基准：面向生成式与判别式模型的程序化视觉推理基准

1. 研究背景与问题 (Problem)

现有的视觉推理基准测试存在三个主要局限性，阻碍了对多模态基础模型真实视觉推理能力的评估：

1. 语言混淆 (Linguistic Confounds)：大多数基准（如 MMMU, MathVista）依赖自然语言提示，难以区分模型是具备真正的视觉推理能力，还是仅仅在进行语言模式匹配。
2. 评估模态单一 (Narrow Modalities)：现有基准通常只关注单一推理领域（如抽象类比或空间关系），缺乏跨领域的广度。
3. 评估方法主观或局限 (Subjective or Limited Evaluation)：
   • 判别式局限：仅有多项选择题无法区分模型是真正构建了答案，还是通过猜测选项蒙对。
   • 主观评分：依赖人工标注或"LLM-as-judge"（大模型作为裁判）引入了可变性和不可复现性。对于结构化图像答案（如迷宫路径、着色图），正确答案在结构上要么正确要么错误，无需主观判断。

2. 方法论 (Methodology)

TACIT (Tacit Benchmark) 是一个程序化生成的视觉推理基准，旨在通过以下核心设计原则解决上述问题：

2.1 核心设计原则

• 语言最小化 (Language Minimality)：所有任务指令均通过视觉布局、颜色编码和几何惯例编码。除坐标轴标签、图例和数字索引外，不包含任何自然语言线索，确保评估的是视觉认知而非语言理解。
• 双轨评估架构 (Dual-Track Evaluation)：
  • 生成式轨道 (Generative Track)：模型必须根据谜题图像直接生成解决方案图像。
  • 判别式轨道 (Discriminative Track)：模型从五个候选答案（1 个正确，4 个干扰项）中选择正确答案。
  • 目的：通过对比同一谜题在两条轨道上的表现，量化“构建性推理”与“选择性推理”之间的差距。
• 确定性验证 (Deterministic Verification)：所有生成式回答均通过特定任务的计算机视觉 (CV) 流水线进行验证（如 BFS 路径验证、像素级网格比对、结构相似性 SSIM），完全消除人工或 LLM 裁判的主观性。
• 参数化难度与近失干扰项 (Parameterized Difficulty & Near-Miss Distractors)：
  • 难度通过网格大小、规则复杂度等独立维度控制。
  • 干扰项设计遵循“近失”原则：每个干扰项仅违反正确解的一个结构约束。这使得干扰项在结构上高度可信，迫使模型进行细粒度的视觉推理，而非依赖表面特征匹配。

2.2 任务设计

基准包含 6 个推理领域 和 10 个具体任务：

1. 空间推理：多层迷宫导航 (Multi-Layer Maze)。
2. 抽象模式：瑞文渐进矩阵 (Raven's Matrices)。
3. 因果模拟：元胞自动机正向预测 (CA Forward) 与逆向推断 (CA Inverse)。
4. 逻辑约束满足：视觉逻辑网格 (Visual Logic Grids)。
5. 图论：图 k-着色 (Graph k-Coloring) 与图同构检测 (Graph Isomorphism)。
6. 拓扑与几何： unknot 检测 (Unknot Detection)、正交投影 (Orthographic Projection) 与等轴测重建 (Isometric Reconstruction)。

2.3 数据生成与验证流程

• 生成：所有任务基于 SVG 程序化生成，使用确定性种子 (Seed) 确保可复现。
• 渲染：SVG 被光栅化为三种分辨率 (512, 1024, 2048 像素) 的 PNG 图像。
• 验证：
  • 结构采样：对迷宫、元胞自动机等任务，采样网格中心像素颜色并映射为结构值进行验证。
  • 颜色计数：用于二分类任务（如图同构、unknot 检测）。
  • SSIM 比较：用于瑞文矩阵和几何重建任务，设定极高阈值（≥0.997 或 ≥0.99999）以确保像素级精确度。

3. 数据集规模与分布 (Dataset Statistics)

• 版本：v0.1.0
• 规模：共 6,000 个谜题实例。
  • 10 个任务 × 3 个难度等级 (简单/中等/困难) × 200 个谜题/单元格。
• 图像总量：每个谜题包含 1 张谜题图、1 张解图、4 张干扰图。在 3 种分辨率下，总计 108,000 张 PNG 图像。
• 发布：托管于 HuggingFace (DOI: 10.57967/hf/7904)，代码和评估工具包基于 Apache 2.0 开源。

4. 主要贡献 (Key Contributions)

1. 首个多领域程序化视觉推理基准：涵盖 6 个推理领域和 10 个任务，提供了参数化难度控制。
2. 双轨评估框架：首次在同一基准上同时支持生成式和判别式评估，能够量化模型“构建答案”与“识别答案”能力的差异。
3. 确定性 CV 验证系统：完全摒弃了 LLM-as-judge 和人工评分，通过任务特定的计算机视觉流水线实现 100% 可复现的客观评分。
4. 单约束干扰项系统：设计了仅违反单一结构约束的干扰项，有效防止模型利用表面特征捷径，迫使模型进行深层推理。
5. 开源生态：提供了完整的生成代码、评估工具和数据集，支持可复现和可扩展的研究。

5. 结果与现状 (Results & Current Status)

• 当前状态：本文主要介绍基准的设计、架构和数据集发布 (v0.1.0)。
• 基线结果：由于需要大量计算资源，本文未报告具体模型的性能基线数据。作者计划在未来研究中发布针对前沿多模态模型的全面基准测试结果。
• 局限性：
  • 难度分级基于作者判断，尚未经过人类表现校准。
  • 干扰项数量固定为 4 个（5 选 1）。
  • 未覆盖时间推理、物理模拟等部分推理模态。

6. 意义与影响 (Significance)

TACIT 基准对多模态 AI 研究具有深远意义：

1. 剥离语言干扰：通过语言最小化设计，为评估纯粹的视觉推理能力提供了“纯净”的测试环境，有助于厘清模型是“看懂”了图像还是“读懂”了文字。
2. 诊断推理深度：双轨评估设计提供了一种诊断工具。如果模型在判别式任务中表现良好但在生成式任务中失败，说明其具备识别能力但缺乏构建能力，揭示了推理深度的不足。
3. 推动可复现研究：通过程序化生成和确定性验证，消除了现有基准中因主观评分导致的不可复现问题，为科学评估视觉认知建立了新标准。
4. 应用价值：该基准不仅适用于学术研究，其评估构建性推理的能力对于自动化设计、科学可视化等实际应用具有重要参考价值。

综上所述，TACIT 基准通过程序化、去语言化和确定性验证的设计，填补了当前视觉推理评估领域的关键空白，为下一代多模态模型的评估提供了更严谨、更全面的工具。