Gym-V: A Unified Vision Environment System for Agentic Vision Research

1. 研究背景与问题 (Problem)

随着基于可验证奖励的强化学习（RLVR）在智能体（Agentic）系统中的重要性日益增加，文本领域的智能体研究已经建立了成熟的“健身房”式基础设施（如 GEM, Reasoning Gym），支持程序化生成、自动验证和标准化接口。然而，视觉智能体（Vision Agents）缺乏类似的统一平台，导致以下问题：

• 碎片化：现有的视觉环境（如 VAGEN, VLM-Gym）覆盖的任务种类少，缺乏统一的接口和工作流。
• 难以控制变量：从文本到像素的跨越引入了感知瓶颈，且观察方式（Observation Scaffolding，如是否提供规则、描述）对训练成败至关重要，但缺乏大规模可控的实验环境来研究这一变量。
• 评估与训练脱节：静态基准测试（Static Benchmarks）无法提供 RL 所需的训练信号，且容易数据污染；而现有的交互式环境往往不支持离线数据训练或生成式任务的评估。

2. 方法论：Gym-V 系统 (Methodology)

Gym-V 是一个统一的、基于 Gym 风格的视觉环境系统，旨在标准化视觉智能体的训练和评估。

2.1 核心架构

• 统一接口 (Unified Interface)：遵循 Gym 兼容 API（基于 Ray RLlib 的多智能体接口），提供标准的 reset() 和 step() 函数。
  • 支持**单轮（Single-turn）任务（如视觉推理、VQA）和多轮（Multi-turn）**任务（如游戏、导航）。
  • 支持离线训练（Offline training），将离线数据集统一视为单步或批处理episode，实现训练流程的统一。
• 可组合的包装器层 (Composable Wrappers)：
  • 这是 Gym-V 的核心创新之一。包装器拦截智能体与环境的交互边界，在不修改底层环境动态的情况下，控制智能体接收的上下文信息。
  • 可控制变量包括：任务规则描述、图像字幕（Captions）、历史交互窗口长度、工具调用解析等。这使得“观察设计”本身成为一个可实验的变量。
• 分布式奖励服务 (Distributed Reward Service)：
  • 针对生成式任务（如文生图、图像编辑），内置基于规则的验证器效率低或不可行。Gym-V 部署了基于 Ray Serve 的评估即服务 (EaaS) 架构。
  • 通过 HTTP 请求调用外部奖励模型（如 CLIP, HPSv3, VLMs），支持批量 GPU 推理和异构后端，统一了判别式和生成式任务的评估接口。

2.2 环境套件 (Environment Suite)

• 规模与多样性：包含 179 个 程序化生成的视觉环境，覆盖 10 个 主要领域。
  • 单轮任务 (105 个)：涵盖算法推理（Grid BFS）、ARC 抽象推理、认知（3D 旋转）、几何、图论、逻辑谜题等。
  • 多轮任务 (74 个)：涵盖策略游戏（Chess, Sokoban）、空间导航（2D/3D 迷宫）、时间序列控制（复古街机游戏）。
• 难度控制：每个环境提供参数化难度级别（0-2 级），支持难度扫描（Difficulty Sweeps）和悬崖分析（Cliff Analysis），以揭示模型性能随复杂度增加的断点。
• 设计原则：
  1. 视觉落地 (Visual Grounding)：所有观察均为图像，信息编码在视觉中，强制模型进行感知推理而非文本模式匹配。
  2. 大解空间自动验证：任务设计具有大量有效解，避免奖励黑客（Reward Hacking）和过拟合特定答案格式。
  3. 可扩展难度：参数化控制复杂度，确保持续的学习信号。

3. 主要贡献 (Key Contributions)

1. 统一的视觉智能体平台：Gym-V 提供了首个统一接口，整合了交互式训练、离线监督和基准评估，支持单轮/多轮、多智能体、工具增强及生成式评估。
2. 大规模多样化环境：提供了 179 个程序化生成的环境，涵盖 10 个类别，支持课程学习（Curriculum Learning）和跨域泛化研究。
3. 实证洞察：通过受控实验，揭示了影响视觉智能体训练成功的关键因素，特别是**观察脚手架（Observation Scaffolding）**的重要性。

4. 实验结果与发现 (Results & Findings)

4.1 零样本评估 (Zero-Shot Evaluation)

• 模型差距显著：在 9 个模型的测试中，闭源模型（Gemini-3-Pro）表现最佳（平均分 73.1），开源模型（Qwen3-VL-32B）次之（36.2），且新训练的 32B 模型在视觉推理上优于旧版 72B 模型（约 1.8 倍提升）。
• 难度悬崖：随着难度增加，模型性能急剧下降（例如在 NQueens 任务中，Claude 模型性能降至 0），表明当前模型在复杂视觉推理上仍有巨大提升空间。

4.2 强化学习训练发现

• 观察脚手架比算法选择更重要：
  • 对比 GRPO、GSPO 和 SAPO 三种 RL 算法，发现算法选择对最终性能的影响小于观察设计。
  • 字幕（Captions）至关重要：添加图像描述（Image + Caption）在所有环境中都显著提升了学习速度和最终回报。
  • 规则（Rules）决定成败：移除游戏规则描述往往导致学习完全失败（特别是在 Sokoban 等不可逆动态任务中），表明模型难以仅凭交互自主发现约束。
• 多轮交互的放大效应：
  • 在多轮任务中，上下文历史（Context）对性能影响巨大。在 Sokoban 等任务中，没有历史信息的智能体几乎无法学习。
  • 多轮交互放大了脚手架和课程设计的影响，使得长视野下的稳定性成为关键。

4.3 跨域泛化 (Cross-Domain Transfer)

• 多样化课程优于狭窄训练：在多样化的子技能类别（如认知、谜题）上训练，能产生广泛的正向迁移。
• 负迁移（Negative Transfer）：在狭窄领域（如几何）训练可能导致负迁移。例如，几何训练可能让模型习得“直接读取数值”的捷径，反而阻碍了需要逐步模拟的算法任务的学习。
• 不对称性：技能迁移存在层级关系（如逻辑到认知的迁移优于反向），表明某些能力是其他能力的前提。

5. 意义与影响 (Significance)

• 填补基础设施空白：Gym-V 为视觉智能体研究提供了类似文本领域 GEM 的基础设施，使得大规模、可复现、公平的对比实验成为可能。
• 重新定义训练范式：研究证明，在视觉 RL 中，如何呈现任务（观察设计、规则描述、字幕）比选择哪种 RL 算法更关键。这为未来的 VLM 训练提供了新的优化方向（即优化 Prompt 和上下文工程）。
• 推动课程学习与泛化：通过程序化生成的难度控制和多样化的任务分布，Gym-V 支持研究如何设计有效的课程学习策略，以避免负迁移并提升跨域泛化能力。
• 生成式评估标准化：其 EaaS 架构为文生图、图像编辑等生成式任务的自动化评估提供了标准解决方案，解决了传统方法难以批量评估的难题。

综上所述，Gym-V 不仅是一个环境集合，更是一个研究框架，它揭示了当前视觉智能体在感知、推理和规划上的具体瓶颈，并指出通过优化观察脚手架和课程设计是提升其性能的关键路径。