Using profiles of cognitive capability to assess AI suitability for workplace tasks

現代の職場において、静かながらも切実な問いが、組織の未来に対する考え方を再構築している。それは、「どの仕事が人工知能に安全に引き継ぐことができ、どの仕事が人間の手に残されるべきか」という問いである。長年、この答えは捉えどころのないものだった。企業はしばしば、学校の校長が最終試験の成績だけで生徒の一年間の成績を判断するのと同様に、機械の知能を判断するために、広範で集計されたテストスコアに頼ってきた。これらのスコアは一般的なパフォーマンスのスナップショットを提供するが、なぜシステムが成功し、あるいは失敗するのかという理由を説明することは滅多になく、また、現実世界の複雑で予測不可能な業務にどのように対処するかを予測することもできない。制御されたテストにおいて機械が失敗する場合、それはしばしば謎に包まれているが、実際のオフィスや工場で失敗した場合、その代償は高く、かつ危険なものになり得る。核心的な課題は、人工知能は人間のように思考しないということである。その強みと弱みは凸凹であり、膨大な事実のライブラリを保有していても、一連の出来事を計画するという単純な論理には苦戦することがある。これらのシステムを安全に導入するために、リーダーには、単なる推測を超えて、仕事の具体的な認知的要求事項と機械の特定の認知能力を照らし合わせる、明確でエビデンスに基づいた評価方法が必要である。

ケンブリッジ大学およびその他の機関の研究者による新しいテクニカルレポートは、この問題への解決策を提示している。チームは、機械が特定のタスクを実行できるかどうかを問う代わりに、そのタスクに必要とされる潜在的な精神的能力をプロファイリングし、それを機械の能力と直接比較するパイプラインを開発した。彼らはまず、人工知能テストの複雑な世界を、記憶、推論、計画、社会的理解といった18の核となる認知スキルへと分解することから始めた。既存の膨大なテスト問題のコレクションを用い、それぞれの問題が具体的にどの精神的スキルを必要とし、どの程度の難易度であるかを注釈付けした。これにより、詳細な「要求マップ」が作成された。次に、彼らはこのマップを使用して、6つの異なるAIシステムの真の認知プロファイルを、単に最終スコアを見るだけでなく、異なる種類の精神的挑戦に対してどのようにパフォーマンスを発揮したかを分析することによって推論した。その結果、各機械のプロファイルが得られ、どこに強みがあり、どこに脆弱性があるのかが明らかになった。それによれば、システム間で全体的なパワーに差はあるものの、強みと弱みの形状は驚くほど似通っていた。

これらのプロファイルを現実世界の意思決定に役立てるために、研究者たちは、人間の労働者が実際に仕事を遂行するために何を必要としているかを知る必要があった。彼らは、倉庫物流や製造からカスタマーサービス、データ分析に至るまで、6つの異なる職業分野の410人の従業員を対象に調査を行った。研究者たちは、労働者に機械がどれほどうまく機能するかを予測させるのではなく、日々の業務に最も重要な精神的スキルは何かを特定させた。従業員は、自身の役割における問題解決、計画、コミュニケーションといったスキルの重要性をランク付けした。このプロセスにより、ほぼすべての仕事に共通する「認知的核（コグニティブ・コア）」が明らかになった。すなわち、記憶、言語、そして先を見越して計画を立てる能力への強い依存である。異なる仕事は、倉庫作業員のための空間推論や、販売スタッフのための社会的理解といった異なる二次的なスキルを強調していたが、仕事に必要な根本的な精神的メカニズムは、驚くほど一貫していた。

研究者たちがAIのプロファイルを仕事の要件に重ね合わせると、適合性の明確な姿が浮かび上がった。研究によれば、最も高度なAIシステムは、現在の機械が得意とする領域である、言語、事実的知識、および社会的相互作用に大きく依存するタスクに最も適していることが分かった。しかし、複雑な計画、物理的な物体に関する推論、あるいは動的な環境における因果関係の理解を必要とするタスクにおいては、一貫して苦戦した。極めて重要なことに、研究者たちは、様々なAIモデル間の差異は、異なる種類の認知スキルの間の差異よりもはるかに小さいことを発見した。言い換えれば、一つのAIシステムが他のシステムと根本的に異なる「性格」を持っているわけではなく、すべてが特定の領域では強く、他の領域では弱いということである。最も有能なシステムであっても、計画や制御における能力は同等のモデルと比較して緩やかな改善を示すにとどまっており、これは、機械が情報の整理には長けてきているものの、人間が当たり前のように行う柔軟で目標指向型の行動をマスターするには、まだ程遠いことを示唆している。

このフレームワークは、特定の仕事に対する「適合性スコア」を算出する方法も提供しており、組織がどのタスクが自動化の準備ができているか、そしてどのタスクができていないかを確認することを可能にする。機械の能力プロファイルと、ビジネスにとってのタスクの重要性を組み合わせることで、システムはAIが効果的かつ価値のある、優先度の高い機会を浮き彫りにすることができる。例えば、データ分析や事務的なリサーチは自動化の強力な候補として浮上したが、深い対人関係の構築や複雑な物理的推論を必要とする役割は、依然として人間の領域に留まった。研究者たちはこのアプローチを単一の企業でテストし、同じ手法がいかにして特定の組織の独自のニーズに合わせて調整できるかを示し、広範な業界のトレンドから、個々の従業員の具体的な職務へと移行させた。

本研究は、単一の高いテストスコアが、機械の職場における信頼性を保証するのに十分であるという考えに対して、明確に異を唱えている。あるシステムが高い平均スコアを持っていても、特定の、隠れたスキルが欠けていれば、特定の仕事において壊滅的な失敗を招き得ることを、本研究は実証している。研究者たちはまた、彼らの知見が現在の世代のAIモデルと、現在利用可能な特定のテストに基づいていることにも注意を促している。新しい機械が構築され、新しいテストが開発されるにつれ、プロファイルは更新される必要がある。しかし、手法自体は堅牢である。測定の対象を「機械ができること」と「仕事が要求すること」に分離することで、このフレームワークは、仕事の未来について議論するための、安定した科学的な言語を提供している。それは、進むべき道とは、あらゆることをこなせる機械を見つけることではなく、現在のツールの特定の、凸凹のある能力を、人間の労働の特定の、凸凹のある要求に慎重に適合させることであり、それによって自動化を真に成功する場所に展開することであると示唆している。