家の建設は、一つの約束から始まります。それは、施工業者に対して何をどのように建設すべきか、そしてどれだけの資材が必要かを正確に伝える一連の図面です。これらの設計図（ブループリント）は単なるスケッチではありません。一本の線が壁を表し、一つの注釈が特定の種類の木材を暗示し、一つの寸法線が梁の長さを規定するという、複雑な指示書なのです。これらのページを資材リストへと変換すること、つまり、あらゆるスタッド（間柱）、あらゆる石膏ボードの枚数、あらゆる屋根の面積を数え上げる作業は、「数量拾い出し（クオンティティ・テイクオフ）」として知られています。数十年にわたり、これは人間の専門家の領域であり、彼らは何十ページにもわたって散らばった情報を読み取り、測定し、整合性を取る必要がありました。その際、紙の上には決して現れない知識を用いて、情報の空白を埋めることもあります。ここでのミスは単なる計算ミスではありません。それは数千ドルの資材の無駄や、コンクリートの注文量が間違っているためにプロジェクトが停滞することを意味します。

長年、コンピュータ科学者たちは機械にこの仕事を教えようと試みてきました。エッセイを書いたり質問に答えたりできる強力な人工知能システムである大規模言語モデル（LLM）が、これらの図面に対してテストされてきました。それらはテキストを読み、言葉を理解することはできますが、設計図の「視覚的な現実」には苦戦します。壁を見つけることはできても、その長さを正しく測定できなかったり、異なるページに表示されているドアを二つの別々のドアとしてカウントしてしまったりすることがあります。彼らには、経験豊富な施工業者が頭の中に持っているような、建設上の慣習（例えば、壁は正確な間隔でスタッドを配置して作られるという知識）に基づいた、具体的で地に足の着いた理解が欠けているのです。その結果、機械が「語れること」と、実際に「計算できること」との間に乖離が生じてきました。

Handoff AI Researchのチームは、単一のより賢いマシンを作るのではなく、連携して機能する専門化されたツールのチームを構築することによって、この溝を埋めるように設計された「Handoff-H1」と呼ばれるシステムを発表しました。住宅用設計図の新しいベンチマークに対して評価された彼らの研究は、コンピュータビジョン、専門ソフトウェアツール、そして構造化された知識ベースを組み合わせたシステムが、現在のトップクラスのAIモデルよりも徹底しており、かつ人間の専門家の精度と完全性に匹敵する資材見積もりを生成できることを示しています。

問題の核心は、建設図面がいかに情報を伝達するかという点にあります。設計図はすべての釘やスタッドをリストアップするのではなく、構造を示し、読者が標準的なルールを適用することを前提としています。もし図面に壁が描かれていれば、人間の見積もり担当者は、図面に明記されていなくても、標準的な間隔に基づいて木製スタッドの数を計算する方法を知っています。それは、平面図を見、寸法を測定し、別のページにある注釈を確認し、その上で「経験則」を適用して最終的な数値に到達するというプロセスを必要とします。このプロセスには、3つの明確な課題が含まれます。視覚的要素を明確に捉えること、関連する情報を結びつけるために複数のページを横断して推論すること、そして、決して書き込まれることのない業界の慣習に結果を根付かせることです。

Handoff-H1は、作業を3つのレイヤーに整理することで、これらの課題に対処します。第1レイヤーは、目的別に作られたコンピュータビジョンモデルのセットです。一般的な画像リーダーとは異なり、これらのモデルは建設図面に特化して訓練されており、部屋、壁、ドア、窓といった類型化された要素を識別し、ラベル付けします。これらはシステムの「目」として機能し、生のPDFファイルから基本的な構造を復元します。第2レイクションは、目が見たものを整理するための「永続的なプロジェクト基盤」、すなわち構造化されたデータベースです。この基盤は、建設プロジェクトが実際にどのように構築されるかを反映した階層構造（フレーミング、配管、電気などの異なる工種への分離）で情報を保持します。決定的なのは、この基盤が厳選された建設ルールと慣習の知識ベースに基づいていることであり、これにより、例えば、ある種の屋根には平坦な図面からは見えない傾斜の計算が必要であるといったことをシステムが理解できるようになります。

第3レイヤーは、ビジョンエージェントのオーケストレーション（編成）です。これらは、基盤から得た情報とビジョンモデルから提供されたツールを使用して、実際の計数や測定を行うソフトウェアワーカーです。彼らは一度にすべてをやろうとはしません。代わりに、一度に一つの工種に集中し、複雑な計画を個々の部材へと分解します（例えば、フレーミング計画を一つ一つのスタッドへと分解するなど）。もしエージェントが確信を持てない場合は、特定の領域を数えたり測定したりするための専門的なツールを呼び出すことができ、推測で済ませることはありません。最後に、独立した検証パスが作業を監査し、最終的なリストが作成される前に、項目の漏れや不可能な数量がないかをチェックします。

このシステムをテストするために、研究者たちは「TAKEOFFBENCH-V1」と呼ばれるベンチマークを作成しました。彼らは10セットの実際の許可を得た住宅用設計図を集め、それを「ゴールドスタンダード（黄金律）」となる資材リストと組み合わせました。このゴールドスタンダードは、一人の人間によって作成されたものではなく、複数の独立したプロの見積もり担当者が同じ図面に対して作業を行い、その結果を照合して作成された、検証済みの唯一の真実です。このアプローチは、人間の専門家であっても特定の測定値について意見が分かれることがあるという事実を認めており、ベンチマークは不可能な理想ではなく、現実的で高品質な基準を反映しています。このベンチマークには、コンクリートやフレーミングから、ドライウォール、屋根に至るまで、9つの異なる建設工種をカバーする2,000以上の検証済みラインアイテムが含まれています。

研究者がテストを実行したところ、結果は驚くべきものでした。彼らは、クローズドおよびオープンウェイトの両方のシステムを含む、利用可能な最も高度な7つの人工知能モデルと比較しました。これらのモデルには同じ生のPDFファイルが与えられ、資材リストを作成するよう求められました。これら最先端のモデルの最高スコアは、複合スコアで約61パーセントでした。対照的に、Handoff-H1は81.6パーセントに達しました。この約20ポイントの差は極めて重要であり、Handoff-H1の専門的なアーキテクチャ（ビジョン、知識、オーケストレーションの組み合わせ）が、汎用モデルでは解決できない問題を解決していることを示唆しています。

さらに重要なことに、このシステムは、グラウンドトゥルース（正解）を作成した独立したプロの見積もり担当者と直接比較されました。これらの人間が同じゴールドスタンダードに対してスコアを測定されたとき、彼らの複合スコアは77.6パーセントでした。Handoff-H1は人間の平均を上回り、10の図面セットのうち6つのセットで人間よりも高いスコアを記録しました。システムがこれを達成できたのは、その「徹底さ」によるものです。特に、人間の見積もり担当者が詳細を見落としたり範囲をスキップしたりしやすいフレーミングや屋根のような複雑な領域において、システムはより多くの項目を見つけ出し、カウントしました。人間の専門家が見つけた項目については、システムよりもわずかに精度が高かったものの、システムの「網羅性」がより優れていたため、全体としてより優れた見積もり結果となりました。

結果の分析により、システムが得意とする部分と依然として課題となっている部分が明らかになりました。システムは、面積や傾斜から数量を導き出す必要がある工種（屋根やドライウォールなど）において非常に優れた性能を発揮しました。これらの分野では、人間の見積もり担当者が一貫性を保つことに苦労することがよくあります。また、配管器具や窓などの計数タスクにおいても非常に良好な結果を示しました。しかし、人間と同様に、連続的な測定（壁の正確な長さや屋根の面積など）が最も困難な課題であることも判明しました。これらのタスクには、寸法線が壁の厚みを含んでいるかどうかといった、人間の専門家同士でも議論になり得る曖昧さを解決する必要があります。これらの測定におけるシステムの精度は人間の専門家よりもわずかに低かったものの、その「網羅性」ははるかに優れており、つまり、全体として見落としが少ないということでした。

研究者たちは、この成功は単一のAIのブレークスルーによるものではなく、異なる能力の入念な組み合わせによるものであると強調しています。汎用モデルは、たとえ最も高度なものであっても、同じ生の入力が与えられた際に、人間の専門家やHandoff-H1システムのレベルに達することはありませんでした。それらは、流暢に見えるものの、次元的な接地感（グラウンディング）を欠いた見積もりを生成する傾向があり、数量を捏造したり、図面を資材リストに変えるために必要な業界特有のロジックを見落としたりしました。Handoff-H1が成功したのは、単一のモデルにすべてを行わせるのではなく、「見る」「知る」「考える」を分離した構造化されたアプローチを採用したからです。

この研究は、専門分野における人工知能への進むべき道を示唆しています。複雑で現実世界のタスクにおいては、最も効果的なシステムは、最大規模の言語モデルを持つものではなく、その領域の構造とルールに対する深い理解を持って構築されたものであることを証明しています。コンピュータビジョンを精選された知識ベースと構造化されたワークフローと組み合わせることで、システムは人間の専門家に匹敵するレベルのパフォーマンスを達成できました。研究者たちは、自らのシステムを同じベンチマークでテストできるように評価ツールを公開していますが、実際の設計図データとグラウンドトゥルースは、システムが答えを単に記憶してしまうのを防ぐために制限されています。このアプローチにより、将来の進歩が、単なるトレーニングデータの想起能力ではなく、真の能力によって測定されることが保証されます。

研究は、このシステムは完璧ではないものの、長らく人間の専門家の独占領域であったタスクを自動化するための重要な一歩であると結論付けています。これは人間の監視の必要性を置き換えるものではなく、一人で作業する人間よりも徹底的で一貫したツールを提供できるものです。一つのミスが数千ドルの損失につながる分野において、一連の図面からより完全で正確な資材リストを生成できる能力は、具体的な改善となります。人間の平均的な見積もり担当者や最高の汎用AIモデルをも上回るシステムの性能は、専門的なビジョン、構造化された知識、そしてオーケストレートされた推論の組み合わせが、複雑で現実的な問題を解決するための強力なアプローチであることを示しています。