Continual Visual and Verbal Learning Through a Child's Egocentric Input

技术摘要：BabyCL —— 通过儿童自我中心输入进行持续性的视觉与言语学习

问题陈述
儿童通过将口语与自我中心经验中连续、具有时间结构且充满噪声的视觉参照物相联系，来习得词义。虽然近期的深度学习模型（例如 Vong 等人，2024）已展示了从儿童自我中心视频（SAYCam 数据集）中学习词汇-参照物映射的能力，但这些模型依赖于离线训练程序。这些程序对数据进行打乱并循环处理数百个轮次（例如 400 个周期），这种设置与人类学习的单次通过（single-pass）和时间有序性特征相悖。批评者（例如 Bowers, 2025）认为，这种差异使得从中得出的具有认知意义的结论失效。本文旨在解决的核心挑战是：在严格模拟儿童实际经验的训练条件下——即在不进行数据打乱或多轮次循环的情况下，仅通过一次对连续且具有时间相关性的流式数据的单向遍历——是否能够产生有意义的词汇-参照物映射。

方法论：BabyCL 框架
作者提出了 BabyCL，这是一个旨在将 SAYCam 数据集作为单一时间流进行处理的持续多模态学习框架。该框架通过共享骨干网络（ResNeXt-50）和三种对比损失函数，共同学习视觉表示与图文关联。

1. 时间分割（Temporal Segmentation）：
   输入的视频流被划分为约三分钟的“事件段”（event segments）。这是通过对帧嵌入进行层次化视觉聚类以识别变化点来实现的。至关重要的是，算法约束这些变化点必须落在话语间隔之外，从而确保每一段话语都完全包含在单个事件段内。这模拟了经验的自然分组方式。

2. 双重回放缓冲区（Dual Replay Buffer）：
   为了在单次通过的设置中减轻时间冗余和灾难性遗忘，BabyCL 维护了两个独立的回放缓冲区：

   • 视觉缓冲区（Visual Buffer）： 存储过去的事件段，用于帧级自监督学习。
   • 多模态缓冲区（Multimodal Buffer）： 存储话语-帧对，其中帧是从每个话语的时间戳窗口内随机采样的。
     两个缓冲区均采用两层架构：短期 FIFO（先进先出）层和长期蓄水池采样（reservoir-sampled）层。这种结构使模型能够在保留近期上下文的同时，维持来自更广泛流数据的多样性。

3. 插入时的重采样（Resampling at Insertion）：
   由于总梯度步数受限于流的长度，作者引入了一种重采样机制。当新的事件段完成并插入视觉缓冲区时，模型会对混合了新材料与回放内容的批次进行 $k$ 次额外的正向-反向传播。这确保了在固定的优化预算内实现收敛，同时不违反首次接触数据的先后顺序。

4. 训练目标：
   模型在每一步都通过三种损失函数进行联合优化：

   • 实例损失 ($\mathcal{L}_I$)： 对视觉缓冲区中增强视图的 SimCLR 目标。
   • 时间损失 ($\mathcal{L}_S$)： 对事件段进行的监督分类损失，用以捕捉时间结构。
   • 跨模态损失 ($\mathcal{L}_C$)： 对多模态缓冲区中话语-帧对进行的对称 InfoNCE 损失，将视觉流形锚定在语言中。
     总损失为加权和：$\mathcal{L} = 0.5(\mathcal{L}_I + \mathcal{L}_S) + 0.5\mathcal{L}_C$。

核心贡献

• 单次通过的具身学习（Single-Pass Grounded Learning）： BabyCL 是第一个成功在单次时间顺序流中，从儿童自我中心视频和语音中学习词汇-参照物映射的框架，消除了对离线数据打乱和多轮次循环的需求。
• 双重回放机制： 引入了具有两层结构（短期/长期）的独立视觉与多模态回放缓冲区，有效地管理了时间冗余并在流式设置中稳定了训练。
• 联合优化： 该框架证明了结合视觉自监督与跨模态对比学习，可以同时实现稳健的视觉表示获取与语言锚定。

实验结果
作者在 SAYCam Labeled-S 4AFC 基准测试（一种四选一强迫选择任务，模型需识别与目标词匹配的图像）上评估了 BabyCL。

• 性能对比基准： 在匹配的优化预算下，BabyCL 显著优于流式基准模型。

  • Offline CVCL（400 轮，已打乱）：57.31%（上限）。
  • One-pass CVCL（朴素流式，无回放）：27.52%。
  • CL-CVCL（带回放的流式，匹配预算，无 BabyCL 结构）：36.41%。
  • BabyCL ($k=8$)： 43.38%。
    BabyCL 大幅缩小了与离线上限之间的差距，证明了持续学习机制（分割 + 双缓冲区）所提供的收益超越了单纯的优化次数。

• 消融研究：

  • 缓冲区设计： 只要存在带有专用近期项通道的两层布局，性能对于特定的剔除策略（FIFO 与 蓄水池采样）具有鲁棒性。
  • 缓冲区大小： 虽然减小缓冲区大小会降低性能，但即使在缓冲区显著较小（流的 2%/10% 对比 10%/50%）的情况下，BabyCL 仍然优于 CL-CVCL 基准。
  • 模态平衡： 在批次中进行 50/50 的视觉与多模态样本分配取得了最佳结果，这表明需要平衡的监督。

• 泛化能力与鲁棒性：

  • 线性探测（Linear Probing）： BabyCL 在 Labeled-S 上达到 45.69%，在 Mini-ImageNet 上达到 25.40%，大幅超过了匹配预算的流式基准，表明其学习到的冻结视觉特征具有高度判别性。
  • 零样本检索（VTWT）： BabyCL 达到了 61.01% 的准确率，优于 CL-CVCL 的 55.43%。
  • Baby Winoground： 在一项要求原始上下文与扰动上下文双重一致性的测试中，BabyCL 取得了最佳综合得分（12.88%），这表明它学习到了更稳定的图文关联，相比于那些在上下文内表现出色但在扰动下失败的离线训练模型，BabyCL 具有更好的泛化能力。

意义与主张
本文声称，在比以往研究更接近儿童实际经验的训练条件下，可以产生有意义的词汇-参照物映射。通过回应“离线、独立同分布（i.i.d.）训练会导致认知结论失效”这一批评，作者展示了离线训练假设对于成功的词汇-参照物获取并非必要。结果表明，只要训练机制能够通过事件分割和双重回放缓冲区处理好时间结构和冗余，深度学习模型就可以从按儿童实际遇到的顺序呈现的数据中获取具身的、多模态的结构。

作者对 BabyCL 与离线训练之间仍存在的性能差距保持谦逊，承认具有数百个轮次的 i.i.d. 训练仍是一个强力的参考标准。他们还指出了一些局限性，包括相对于流的大小而言，回放缓冲区所需的巨大内存预算，并建议未来的工作应专注于缩小性能差距以及扩展关于组合性和泛化性的评估基准。