人間は、微細で、ほとんど目に見えないような動きを通じて、絶えず自らの内面を放送しています。手がそわそわしたり、頭がわずか数ミリ傾いたり、あるいは足がかすかなリズムで揺れたりといった動作は、「マイクロアクション（微細な動作）」と呼ばれます。挨拶のために手を振ったり、看板を指差したりするような、大きく意図的なジェスチャーとは異なり、これらの小さな動きは、ほとんど意識されることなく起こります。しかし、それらはその人の感情状態や心理状態に関する情報を確実に漏らしています。何十年もの間、科学者たちは、ビデオ解析における困難なパズルとして、これらの儚い信号をコンピュータに認識させる方法を模索してきました。課題はその繊細さにあります。それらは極めて短く、振幅も小さいため、互いに混同されやすいのです。頭の傾きは頭の回転に見えることがあり、体に触れる動作はひっかき傷のように見えることもあります。最近まで、これを解決する最善の方法は、膨大なデータと計算能力を必要とするプロセスである、何千もの事例を用いて学習させた専用のコンピュータプログラムを構築することでした。

武漢大学の研究チームは現在、新しいものをゼロから構築するのではなく、既存の強力な人工知能ツールを活用するという、異なる戦略でこの問題にアプローチしています。微細な動作の理解に焦点を当てた最近のコンペティションにおいて、彼らはシステムを新しいデータで学習させることなく、第1位を獲得しました。コンピュータにマイクロアクションがどのようなものかを教え込む代わりに、彼らは高度な言語モデルに対し、「何が見えているのか」を記述させ、さらに「なぜそう見えるのか」を説明させるという手法をとりました。彼らの成功は、これらのモデルがどのように機能しているかについての驚くべき真実を明らかにしています。それは、微細な動きを理解させるための最善の方法は、コンピュータに答えを推測させることではなく、まず詳細を記述させ、その詳細に基づいて最終的な結論を導き出させることなのです。

研究チームは、「マイクロアクション解析グランドチャレンジ」と呼ばれるコンペティションに参加しました。この目標は、人々がこうした微細な動作を行っている数千の短いビデオクリップを分析することでした。タスクはいくつかの部分に分かれていました。ある部分は、その動きが「頭と手」の相互作用なのか「脚と手」の相互作用なのかといった、リストの中から正しいカテゴリーを選択することを求められました。また別の部分はより自由形式で、どの身体部位がどのように動いたのか、そしてなぜ特定のラベルが適切なのかを正確に記述することが求められました。コンペティションのルールは厳格でした。チームはコンペティションのデータを用いてモデルを学習させてはならず、また正解を使用してシステムを教えることもできませんでした。彼らは、モデルをそのままの状態で使い、書かれた指示によってのみ導かなければなりませんでした。

研究チームは、単一の人工知能モデルでは、すべての作業に対して適切な道具にはならないことに気づきました。選択肢の中から正しい文字を選ぶような、迅速かつ正確な判断を得意とするモデルもあれば、場面で起きていることを詳細かつ流暢に記述することを得意とするモデルもあります。研究者たちは、それぞれの質問を、それに最も適したモデルへとルーティングする「指揮者」のようなシステムを構築しました。カテゴリーの特定や単純なイエス・ノーの判断を行うタスクでは、強力な意思決定能力を持つことで知られるモデルにビデオを送りました。記述を書いたり、選択の理由を説明したりするタスクでは、流暢で一貫性のあるテキストを生成する能力に長けたモデルにビデオを送りました。

この役割分担は、大きな問題を解決しました。場面の記述に優れたモデルであっても、詳細に囚われすぎてしまい、誤った動作を自信満々に記述してしまうことがよくあります。逆に、ラベルの選択に優れたモデルは、非常に簡潔で役に立たない説明しかできないこともあります。タスクを分離することで、チームは記述を行うモデルが、最終的なラベルを当てるというプレッシャーに惑わされないようにしました。しかし、彼らはさらに一歩進みました。最高の記述があったとしても、それが正しい事実に根ざしていなければ、モデルは最終的なラベルにおいて間違いを犯す可能性があることを発見したのです。これを修正するために、彼らは「認識条件付き推論（recognition-conditioned reasoning）」と呼ぶ手法を導入しました。

このアプローチでは、システムはまず、意思決定モデルに対して正しいカテゴリーを予測させます。次に、その予測を直接、記述モデルへのプロンプトに組み込みます。そして記述モデルに対し、その予測されたカテゴリーを念頭に置いた上で、説明を書くよう指示します。それはあたかも、システムが「あなたが見ているものに基づいて、なぜこれが頭の傾きなのかを説明してください。そして、その説明がその結論を裏付けるものにしてください」と言っているようなものです。この、記述モデルに答えのヒントを与えるという単純なステップが、最終的な結果の精度を劇的に向上させました。記述モデルは単に優れた物語を書いたのではなく、正しいラベルと事実的に整合した物語を書いたのです。

このアプローチの結果は驚くべきものでした。最終的なコンペティションにおいて、チームのシステムは、他のどのエントリーよりも、特にコンピュータが動きを記述し推論しなければならない自由形式のセクションにおいて、大幅に高いスコアを記録しました。他のチームが、流暢さと正確さを両立させた説明を書くのに苦労する中で、このシステムはビデオの内容に忠実な記述を生み出すことができました。研究者たちは、エラーの主な原因は、モデルが動きを見ることができなかったり、文章を書くことができなかったりしたことではなく、最初に間違ったラベルを推測してしまったことにあると突き止めました。正しいラベルが起点として提供されると、モデルは完璧な説明を構築することができたのです。

この研究は、複雑な視覚的タスク、特に微妙な人間の行動を扱う場合、その未来は大規模な新しいモデルをゼロから訓練することにあるのではない可能性を示唆しています。むしろ、鍵となるのは、すでに持っている強力なツールをどのように整理し、指示するかにあるのかもしれません。適切なタイプの人工知能を適切なタイプの質問に慎重に合わせ、モデル同士に互いの仕事をチェックさせることで、専門化されたシステムに匹敵するレベルの理解を実現できるのです。研究者たちは、完全に凍結された既存のモデルのみで構築されたシステムが、そのタスクのために特別に訓練されたシステムを凌駕できることを証明し、スマートなオーケストレーション（編成）が、重厚なトレーニングと同じくらい強力であることを示しました。

また、この研究は、自動判定器のバイアスを回避する新しい測定方法も導入しました。回答を採点するために使用される言語モデルは、たとえ事実が間違っていても、文章の流暢さを評価してしまう傾向があります。研究者たちは、説明が実際に正しいカテゴリーに言及しているかどうかを確認する手法を開発しました。この「判定器を用いない（judge-free）」チェックにより、モデルを予測ラベルで導く手法が、成功の真の要因であったことが確認されました。これは、マイクロアクションの理解におけるボトルネックは、見る能力や話す能力ではなく、最初にアクションを正しく識別できるかどうかにあることを示しています。

結局のところ、この研究は、ビデオを通じた人間行動の理解に向けた明確な道筋を提示しています。困難な問題を解決するために、車輪を再発明する必要はないのです。私たちがすでに持っているツールの強みと弱みを理解し、それらを論理的な順序で配置することで、以前は手の届かなかった能力を解き放つことができます。人間の身体の微細で不随意な動きを正確に読み取る能力は、メンタルヘルスのスクリーニングからヒューマン・コンピュータ・インタラクションに至るまで、幅広い分野に深い意味を持ちます。研究者たちは、適切なアプローチがあれば、人工知能はより複雑になるのではなく、より思慮深くなることで、目に見えないものを見ることができるようになることを示したのです。