人类不断通过微小、几乎不可见的动作来广播他们的内心世界。一只不停抖动的手，一个仅仅倾斜了一小度的头部，或者一条带有细微节奏的晃动腿部——这些都是微动作。与我们用来挥手问候或指向某个标志的大型、刻意的姿势不同，这些微小的动作在发生时几乎不需要有意识的思考。然而，它们能够可靠地泄露一个人的情绪状态和心理状况。几十年来，科学家们一直试图教计算机识别这些转瞬即逝的信号，将其视为视频分析中的一个难题。挑战在于它们的微妙性：它们极其短暂、振幅极低，且极易相互混淆。一个头部的倾斜看起来可能像是一个转头；一次触摸看起来可能像是一次抓挠。直到最近，解决这一问题的最佳方法是构建专门的计算机程序，并在数以千计的样本上进行训练，而这个过程需要海量的数据和计算能力。

武汉大学的一个研究小组现在用一种不同的策略来处理这个问题，这种策略依赖于现有的、强大的人工智能工具，而不是从头开始构建新的工具。在最近的一场专注于理解微动作的竞赛中，他们无需在任何新数据上训练系统就获得了第一名。他们并没有教计算机微动作看起来是什么样子的，而是要求一个复杂的语言模型去描述它所看到的景象，并解释为什么它会看到这样的景象。他们的成功揭示了一个关于这些模型运作方式的惊人事实：让计算机理解微妙动作的最佳方法，不是要求它去猜测答案，而是先要求它描述细节，然后让这些细节引导最终的结论。

研究人员参加了一项名为“微动作分析大挑战”（Micro-Action Analysis Grand Challenge）的竞赛，目标是分析成千上万段表现人类进行微妙动作的短视频。任务被分为几个部分。其中一些部分要求计算机从列表中选择正确的类别，例如判断一个动作是“头-手”交互还是“腿-手”交互。其他部分则更加开放，要求计算机准确描述哪些身体部位在移动、如何移动，以及为什么特定的标签是正确的选择。竞赛规则非常严格：参赛队伍不能在竞赛数据上训练模型，也不能使用正确答案来教导系统。他们必须完全按照原样使用模型，仅通过书面指令来引导它们。

该团队意识到，单一的人工智能模型并不是完成所有工作的合适工具。有些模型擅长做出快速、精确的选择，比如从多项选择题中选出正确的字母；而另一些模型则更擅长编写关于场景发生的详细、流畅的描述。研究人员构建了一个像指挥家一样的系统，将每个特定问题路由到最适合回答它的模型。当任务是识别一个类别或做出简单的是非判断时，他们会将视频发送给一个以决策能力见长的模型。当任务是撰写描述或解释选择背后的逻辑时，他们会将视频发送给一个以生成流畅、连贯文本能力见长的模型。

这种分工解决了主要问题。通常，一个擅长描述场景的模型可能会因为沉溺于细节而自信地描述错误的动作。反之，一个擅长挑选标签的模型可能会给出非常简短且毫无帮助的解释。通过分离任务，团队确保了负责编写描述的模型不会被猜测最终标签的压力所干扰。然而，他们更进一步。他们发现，即使有了最好的描述，如果模型没有锚定在正确的事实上，它在最终标签上仍可能犯错。为了解决这个问题，他们引入了一种称为“识别条件推理”（recognition-conditioned reasoning）的方法。

在这种方法中，系统首先要求决策模型预测正确的类别。然后，系统将该预测直接输入到描述模型的提示词（prompt）中。随后，描述模型被要求撰写其解释，但它必须在保持对该预测类别认知的前提下进行撰写。这就像是系统在说：“基于你所看到的，请解释为什么这是一个头部倾斜，并确保你的描述支持这一结论。” 这种通过给予描述模型一个“提示”来改进结果的简单步骤，极大地提高了最终结果的准确性。描述模型不仅写出了一个更好的故事，还写出了一个在事实上与正确标签保持一致的故事。

其结果令人瞩目。在最终的竞赛中，该团队的系统得分显著高于其他任何参赛作品，特别是在计算机需要描述和推理动作的开放式环节中。当其他团队在编写既流畅又准确的解释方面感到吃力时，该系统却能产生忠实于视频内容的描述。研究人员发现，错误的主要原因并非模型看不见动作或不会写作，而是它们有时在最初阶段就猜错了标签。一旦提供了正确的标签作为起点，模型便能够构建出完美的解释。

这项工作表明，对于涉及微妙人类行为的复杂视觉任务，未来的关键可能不在于从头开始训练庞大的新模型，而在于如何组织和引导我们已有的强大工具。通过将正确类型的 AI 与正确类型的提问进行匹配，并让模型相互检查彼此的工作，我们可以实现一种足以媲美专门化系统的理解水平。研究人员证明，一个完全由现有的、冻结的预训练模型构建而成的系统，可以超越那些专门为该任务进行过训练的系统，这证明了“智能编排”与“重度训练”同样强大。

该研究还引入了一种新的衡量成功的方法，避开了自动化评判者的偏见。通常，用于评分语言模型的评判者往往会对流畅度产生偏见，即即便事实错误，也会奖励一个文笔优美的句子。研究人员开发了一种方法，用于检查解释是否确实提到了正确的类别，而不论其文采如何。这种“无评判者”的检查确认了，通过预测标签来引导模型才是他们成功的真正驱动力。它表明，理解微动作的瓶颈不在于视觉或表达能力，而在于最初能否正确识别动作。

最终，这项研究为通过视频理解人类行为提供了一条清晰的路径。它表明，我们不需要为了解决困难问题而重新发明轮子。通过理解现有工具的优势与劣势，并按逻辑顺序进行排列，我们可以释放出此前无法触及的能力。准确读取人类身体微妙、不自主动作的能力，在从心理健康筛查到人机交互等诸多领域都具有深远的影响。研究人员已经证明，只要方法得当，人工智能可以通过变得更加“周全”而非仅仅是变得更加“复杂”，来学会洞察那些隐形的信号。