Correction removes what it monitors: a structural model of engineering realisation and the right-truncation of quality records

大規模なエンジニアリングの世界において、マイクロチップを製造するクリーンルームから燃料を精製する巨大なプラントに至るまで、成功はしば頻繁に肉眼では見えない一連の出来事に依存している。それは要件の設定、すなわち機械や建物が何を成すべきかというビジョンから始まり、現実世界に立つ物理的な物体で終わる。設計図と完成した構造物の間には、「翻訳」のプロセスが存在し、そこではアイデアが部品へと分解され、連結され、組み立てられる。このプロセスは品質の規則によって支配されている。もし部品が完璧に適合しなければ、修正され、再度測定され、その新しい訂正された数値が記録される。数十年にわたり、業界はこれらの記録が作業がいかに良く行われているかの真実の姿を提供しているという仮定に基づいて運営されてきた。論理としては妥当に見える。すべての不合格品が合格するまで修正されるのであれば、最終的な測定値のリストは、すべてが許容範囲内に収まっている世界を示すはずである。しかし、この仮定は、私たちが収集しているデータの理解における構造的な欠陥を隠蔽している。

独立研究者であるヤン・リュウ（Yang Liu）による新しい研究は、この根本的な信念に異議を唱え、ミスを修正するという行為自体が、ミスの存在の証拠を消去してしまうことを示唆している。本研究によれば、技術者が公差外となった部品を修正するとき、彼らは単に製品を改善しているだけでなく、それを生み出したプロセスの最も重要な情報を削除しているのである。著者は、エンジニアリングプロジェクトがどのように実現されるかを記述する構造モデルを構築し、コンピュータシミュレーションを用いてテストすることで、標準的な品質データ記録法が「盲点」を生み出していることを証明した。我々が保持している記録は、現実のランダムなサンプルではなく、極端なエラーが外科的に除去されたフィルタリング済みのバージョンなのである。この除去によりリスクの理解が歪められ、不安定なプロセスが安定しているように見え、建設や製造を悩ませている問題の本質が見えなくなってしまう。

論文はまず、要求事項から物理的対象へのプロジェクトの旅路を、6つの異なるステップ、あるいは「レジスタ」を用いたフレームワークを用いてマッピングすることから始まる。これらのステップは、身体とその接続が概念としてのみ存在する静的なデザインの世界から、それらのアイデアが時間と空間の中で形を成していく進化する建設の世界へ、そして最後に安全基準や契約上のルールが不可能な結果を削ぎ落としていく制約の領域へと移行していく。著者はこのプロセスの中に特定のギャップがあることを特定している。つまり、デザイン上は完全に連続しているシステムであっても、現実世界での組み立てが不可能になる場合があるということだ。数学的には、これは「トポロジカルな欠損（topological defect）」と呼ばれ、局所的な接続は機能していても、グローバルなループが閉じない状況を指す。これは手際の悪さやチェック不足の問題ではない。デザイン自体に内在する構造的な不可能性の問題である。本研究は、フィールドを3つの成分――構造を表すもの、変化を表すもの、および変更不能な制約を表すもの――に分解する方法を用い、この失敗モードが調整のエラーではなく、精密かつ測定可能なデザインの特性であることを示す。

しかし、本論文の核心となる発見は、品質管理チェックの後に何が起こるかにある。典型的な産業現場では、測定値が許容誤差を超えた場合、そのアイテムは再加工される。調整が行われ、再度測定され、新しい値がデータベースに保存される。元の失敗した測定値は破棄される。著者は、この慣行が「右側切断型（right-truncated）」の記録を作成すると主張している。プロジェクト中に取られたすべての測定値のヒストグラムを想像してみてほしい。標準的な慣習は、大きなエラーが存在するグラフの右側を切り取り、代わりに限界値のすぐ内側に位置する値を置き換えてしまう。分布の裾の部分、つまり物事がどれほど頻繁に、そしてどれほどひどく失敗するかを示す部分が取り除かれるため、残されたデータに対して行われるあらゆる統計分析は根本的に誤ったものとなる。データはもはやエラーの母集団を表しておらず、通過できる程度に小さかったエラー、あるいは正常に修正できたエラーの母集団のみを表しているのである。

この歪みには、具体的かつ危険な結末がある。それはプロセスの知覚される安定性を膨張させることである。本研究は、分布の裾の重さを表す「テイル指数（tail index）」と呼ばれる統計量に着目している。指数が低いことは、プロセスが大きく予測不可能な偏差を起こしやすいことを意味し、指数が高いことは、より安定し予測可能であることを示唆する。この論文で行われたシミュレーションでは、本来の高いリスク（大きなエラーが発生しやすい状態）を示すテイル指数1.8を持つプロセスが、再加工と再測定のサイクルを経た後、指数7.26として記録されていた。これは劇的な変化である。実際には最も不安定なシステムが、最も安定しているように見えるのだ。このエラーはランダムな数字の散らばりではなく、最悪の状態にあるプロセスを最高のものに見せかける系統的なバイアスである。この逆転現象により、これらの記録に頼る品質システムは、意図せずして最も危険なプロセスに報酬を与え、最も安定したプロセスを罰することになる。なぜなら、危険なプロセスの方が、その最悪のデータポイントが編集されてしまっているからである。

さらに本研究は、単にデータを増やすだけでは問題が解決しない理由を探求している。大量のサンプルがあっても、修正前の元の値が失われていれば、テイル指数を正確に取り戻すことは不可能である。調査の結果、テイル指数の不確実性の区間は非常に広く、継続して安全かどうかといった重大な意思決定に使用できないことが示された。データは単にノイズが多いのではなく、情報が欠落しているのである。論文は、解決策はより優れた数式やサンプルサイズを増やすことではなく、何を記録するかを変えることであると主張している。著者は単純なスキーマの救済策を提案している。すなわち、各測定について、互いに上書きし合わない2つの値を保存すべきであるということだ。一つ目は修正前に行われた最初の測定値であり、二つ目は再加工後の値である。初期の失敗した測定値を保持することで、記録はエラー分布の真の形状を維持でき、エンジニアが実際のリスクを目視することを可能にする。

また、論文は品質コードや規格の役割についても触れている。多くの場合、これらは作業の質を向上させるゲートとしての役割を果たすと考えられている。しかし、厳格なコードの下で行われた作業とそうでない作業を比較することは、両者のグループが比較可能ではないため、誤解を招くと本研究は指摘している。なぜなら、厳格なコードは通常、最も重要でリソースが豊富なプロジェクトに適用されるからである。代わりに著者は、ルールの変更前後での超過率（許容範囲を満たさない項目の割合）の変化を見るか、あるいは同じ種類の作業に対する強制力の強度を変化させてみることで、コードの有効性を検証することを提案している。シミュレーションによースによると、これらの比率における真の違いを検出するには、業界の研究でよく使われる数百個よりもはるかに多い、グループあたり約2000個のサンプルが必要であることが示されている。

最後に、本研究はこれらのエンジニアリングの知見を、機械やモデルがいかに世界を理解するかという広範な問いへと繋げている。著者は、エンジニアリングのデザインにおける構造的な隙間と、人工知能モデルの情報処理方法との間に類似性を見出している。デザインが理論上は連続していても組み立てに失敗する場合があるのと同様に、機械学習モデルは観測している空間の基礎となる構造を真に理解することなく、ビデオの次のフレームを予測することがある。論文は、三次元空間を真に理解するためには、エンジニアリングモデルで使用されたデコンポジションと同様に、データを構造的、進化的、および制約的な成分に分離する能力が必要であると示唆している。本論文はこれがAIのために解決されたと主張しているわけではないが、一つのテスト可能な基準を確立している。すなわち、これらの成分を分離できるモデルは、それができなかったモデルよりも、世界のより深く強固な理解を持っている可能性が高い、ということである。

この研究の含意は実践的かつ直接的である。著者は、現在の失敗した測定値を上書きする慣行は、単なる些細な事務的手順ではなく、組織が自らのリスクを把握することを妨げる構造的な欠陥であると結論づけている。救済策は複雑ではない。修正後の値と共に最初の測定値を確実に保存するように、データスキーマを変更することである。このシンプルなステップを踏まなければ、記録はその目的であった問い——「このプロセスはどの程度信頼できるのか？」——に答えることはできない。本研究は、業界が壊れていると主張しているのではなく、むしろ、自身の実績を見るためのレンズが歪んでいると言っているのである。記録プロセスを修正することで、エンジニアは偽りの楽観主義から脱却し、直面している課題を明確かつ正確に理解できるようになり、現代のエンジニアリングが求める精度をもってリスクを管理することができるようになる。