UniTraffic-Agent: Unified Traffic Video Reasoning for AI City Challenge 2026 Track 3 with Two Out-of-Domain Evaluations

想象一下，你是一名正在试图破解谜题的侦探，但你的证据不是犯罪现场，而是一段混乱、移动着的繁忙城市街道视频。这就是交通视频理解的世界——在这个领域，计算机试图理解我们的道路上正在发生什么。长期以来，计算机非常擅长在静态照片中识别单个物体，比如一辆红色的汽车或一个停止标志。但现实生活不是照片，而是一部电影。要理解一起交通事故或险些发生的碰撞，计算机不仅需要“看见”，还需要观察、思考并连接点滴。它必须弄清楚谁做了什么，为什么做，以及事情是在何时发生的。这非常困难，因为交通视频很杂乱：摄像机可能使用了奇怪的鱼眼镜头，动作可能发生在电光石火之间，而且同一段剪辑可能需要回答许多不同的问题。这项研究的目标是构建一个计算机系统，使其表现得像一位超级聪明、极具耐心且绝不会错过任何细节的侦探，无论摄像机是如何设置的。

于是，UniTraffic-Agent诞生了——这是一个由研究团队创建的新型数字侦探，旨在应对“交通异常推理”挑战。把这个智能体想象成一位组织严密的调查员，它不仅仅是扫一眼视频然后进行猜测，而是遵循一套严格的四步流程：观察（Observe）、推理（Reason）、行动（Act）和验证（Verify）。

首先，在观察阶段，该智能体在观看视频时非常聪明。它不会尝试处理每一个帧（这就像为了了解剧情大纲而去读完一本书里的每一个字），而是挑选出最重要的时刻。如果一个问题涉及特定时间发生的事情，智能体会放大该时刻前后几秒钟的内容，同时也会抓取开头和结尾的几帧图像，以保持对全局的把握。这就像一位知道该如何倒回监控录像，以便捕捉关键线索的侦探。

接下来是推理。这是该智能体大放异彩的地方。通常，一段视频剪辑会附带许多问题，比如“谁闯了红灯？”、“天气如何？”以及“那辆车等了多久？”旧有的系统可能会尝试逐一回答每个问题，这可能会导致矛盾——比如在一个答案里说车是红色的，而在另一个答案里又说它是蓝色的。UniTraffic-Agent 采取了不同的做法：它完整地观看一遍剪辑，构建出一个关于所发生事件的单一、共享的故事，然后利用这个统一的故事来同时回答所有问题。这确保了侦探讲述的故事从头到尾都是一致的。

随后进入行动阶段。不同的任务需要不同的格式。一个任务可能只需要简单的“是”或“否”，而另一个任务则需要一个包含 13 个不同字段的详细 JSON 文件，用以描述某种交通违规行为。该智能体使用特殊的“适配器”——你可以把它们想象成翻译官或变形金刚——将它的共享故事进行重塑，使其符合每项特定工作所需的精确格式。

最后，验证步骤充当了质量控制检查员的角色。它会复核答案，确保名称和时间能够匹配；如果发现任何异常，它会回到缓存的视频帧中重新尝试。这种“重试”机制帮助智能体在无需人工帮助的情况下修正自己的错误。

研究人员在三种截然不同的交通视频类型上测试了该智能体：标准监控录像、扭曲的鱼眼镜头视频以及汽车行车记录仪视频。结果令人印象深刻。在鱼眼任务中，该智能体在所有竞争者中排名第 2；在行人意图任务中，它排名第 4。即使是在最主要的、也是最困难的任务中，它也位列第 16。团队发现，虽然该智能体在识别参与者和整体事件流方面表现出色，但在处理极长且详细的描述或解释鱼眼镜头的扭曲几何结构时，有时会感到吃力。然而，这项研究表明，通过将智能观察与统一的推理过程相结合，我们可以构建出比以往更可靠、更一致的交通人工智能。这位“侦探”的代码现在已经开源，供他人学习和改进。