Recovering Engineering-Change Traceability from Legacy CNC Work Orders: A Pydantic Schema and Few-Shot LLM Extraction Baseline

私は、手がかりがインデックスカードに整然と書かれているのではなく、古くてクシャクシャになったレシートの余白に、二つの言語が混ざり合って殴り書きされている……そんな状況の探偵だと想像してください。しかも、その紙の一部は、お腹を空かせた犬にかじり取られています。これが、**エンジニアリング・チェンジ・マネジメント（ECM）**の世界です。高度な技術を要する機械製造の世界では、物事が計画通りに進むことは滅多にありません。部品が壊れたり、ルールが変わったり、材料を交換する必要が出てきたりします。大規模で豪華な工場では、これらの変更事項は、完璧に整理されたファイリングキャビネットのように機能する巨大なデジタルデータベースによって追跡されます。しかし、より小さな作業場では、これらの変更の「履歴」は、古いコンピュータシステムに残された、非常に小さく乱雑なメモの中に眠っていることがよくあります。これらのメモは、製造現場における「自由形式テキスト（フリーテキスト）」です。短く、混沌としており、古いソフトウェアのメモリ制限のために、文章の途中でぶつ切りになっていることもあります。

科学者たちの課題は、この乱雑でバイリンガルな（繁体字中国語と英語が混ざった）走り書きを、コンピュータが実際に読み取り、利用できるような、クリーンで構造化されたリストに変換することです。これは**情報抽出（Information Extraction）**と呼ばれます。それは、ロボットにティーンエイジャーの混沌としたテキストメッセージを読ませ、それを正式な報告書に変換させる方法を教えるようなものです。目標は、「何が」変わったのか、「いつ」変わったのか、そして「あるジョブオーダーが別のジョブオーダーとどのように繋がっているのか」を、物語の筋道を失うことなく突き止めることです。もしこれができなければ、企業はミスや改善の跡を追跡する能力を失うことになります。それは、道がどこへ続くのかを知らずに車を運転しようとするようなものです。

---

255文字制限の謎

この研究において、台湾の研究者たちは非常に具体的で、非常に厄介な問題に取り組みました。彼らはCNC工作機械メーカー（精密な金属部品を製造する場所）を訪れ、その古い作業指示書を調査しました。彼らは399件の指示書を見つけましたが、メモが存在したのはそのうちの217件だけでした。メモは、業界用語が混じった繁体字中国語と英語の混沌とした混合物であり、さらに驚くべきことに、125件のメモは正確に255文字のところで文字通り切り落とされていました。

なぜ255なのか？ 実は、その会社はMicrosoft Accessという古いデータベースシステムを使用しており、そこにはテキストボックスに255文字しか保持できないというルールがありました。作業員がより長いメモを書くと、コンピュータは文章の途中、あるいは重要な詳細の真っ最中に、容赦なくそれを切り捨ててしまったのです。それは、レシピの指示の中で「卵を加え……」という部分がカットされ、「卵を……」という言葉だけが残ってしまうようなものです。

チームは、小型言語モデル（SLM）——言語を理解するほど賢いが、インターネットを必要とせず一般的なコンピュータ上で動作するほど小さいAIの一種——を使用して、この混乱を解決できるかどうかを検証したいと考えました。彼らは会社の機密データを巨大なクラウドサーバーに送るのではなく、ローカルでプライベートに保ちたいと考えたのです。

探偵の道具箱：Pydanticと「グラウンディング」テスト

これを解決するために、研究者たちはPydanticスキーマと呼ばれる特別な「テンプレート」を構築しました。これは、非常に厳格なデジタルのクッキー型だと考えてください。どんなに乱れた生地（テキスト）であっても、この型がそれを完璧な形へと強制します。AIは、乱雑なメモを読み取り、情報をこの特定の形に押し込めるよう訓練されました。具体的には、「コンポーネント（どの部品が変わったか）」、「置換（何と入れ替わったか）」、そして「トレーサビリティ・リンク（このジョブが以前のジョブとどう繋がっているか）」などを特定させます。

彼らは30億パラメータを持つモデル（大規模言語モデルの世界では「小型」とされるAI）を使用し、このクッキー型を埋めるように学習させました。しかし、一つ問題がありました。AIは少し「空想癖」があるのです。機械部品に関するメモを見ると、AIは「こうであるはずだ」という可能性に興奮しすぎて、実際には存在しない詳細を捏造してしまうことがあります。これは**ハルシネーション（幻覚）**と呼ばれます。それは、物語の要約を求められた学生が、物語をより良くするために、本の中に登場しないキャラクターを勝手に作り出してしまうようなものです。

結果：発見には長けているが、フィルタリングには弱い

結果は、成功と、非常に特定の種類の手落ちが混在したものとなりました。

まず、良いニュースです。AIはルールに従うことに関しては驚異的でした。**96.9%**の確率で、完璧にフォーマットされた回答を生成し、クッキー型の形に適合させました。AIはほとんどの変更点を正確に見つけ出し、メモが途切れていることさえも察知することができました。

しかし、AIには重大な性格上の欠陥がありました。それは、**「寛容すぎること」**でした。

• 発見能力（再現率/Recall）については： 非常に優秀でした。作業指示書間の実際の繋がりを**80%**見つけ出しました。
• 正確さ（適合率/Precision）については： 最悪でした。AIが見つけたと言い張った接続のうち、実際に正しいものはわずか**10%**でした。

平たく言えば、AIは「リンクを見つけたぞ！リンクを見つけたぞ！」と叫んでいましたが、それが本当に正しいのは10回に1回だけだったのです。リンクがない場面でも、助けになろうとして10回中9回は「リンクを見つけたぞ！」と叫んでいたのです。これは、正確な事実を知る必要がある工場においては危険なことです。

二つの修正策：警告か、それともフィルターか

研究者たちは、AIが作り事をするのを止めるために、2つの異なる方法を試しました。

試行1：「事実のみを記述せよ」というプロンプト
彼らはAIへの指示（プロンプト）に、「テキストの中で確認できることだけを書きなさい。確信が持てない場合は空白にしておきなさい」という特別な指示を追加してみました。

• 結果： これは裏目に出ました。AIは単に作り事をやめただけでなく、有用な情報を書くこと自体をやめてしまったのです。AIは間違いを犯すことを恐れるあまり、実在する情報まで削除してしまいました。正しいリンクの数は80%から40%へと減少しました。「事実のみを記述せよ」という指示は、AIを仕事をするにはあまりにも臆病にしてしまったのです。

試行2：「真実フィルター」
AIに注意を促す代わりに、研究者たちはAIの作業が終わった後に実行される、別個の自動フィルターを構築しました。このフィルターには単純なルールがありました。「もしAIが単語や数字を書き込んだら、その単語や数字が元のテキストに正確に存在するかどうかを確認せよ。もし存在しなければ、それを削除せよ」。

• 結果： これは大幅な改善ではありましたが、魔法の解決策ではありませんでした。このフィルターは、AIが見つけたものの数（再現率は80%のまま）を変えることはできませんでしたが、テキストに含まれていない「作られた単語」をすべて排除し、作り物の文字列によるハルシネーションをゼロに抑え込みました。しかし、AIの正確さ（適合率）は、わずか10%から**13.3%**に上昇したに過ぎませんでした。

なぜ100%に到達できなかったのでしょうか？ それは、AIが別の種類のミスを犯していたからです。たとえ使用している単語がテキスト内に実在するものであっても、AIはそれらを誤った関係性に結びつけてしまうことがありました。例えば、メモの中に2つの作業指示書番号を見つけ、それらが（本来の理由とは別の理由で）単に並んでいるだけなのに、それらが関連していると推測してしまうのです。フィルターは、単語自体はテキスト内に存在するため、このミスを捉えることができません。エラーは単語そのものではなく、接続の「論理」にあるのです。

まとめ

論文は、このような特定の乱雑なデータに対しては、AIに単に「正直であれ」と命じるだけでは不十分であると結論付けています。この規模のAIは、「テキストに何が書いてあるか」と「自分が何を考えているか」の違いを本当には理解していません。AIには、決定論的なフィルター（deterministic filter）、つまり、無機質で厳格なルールチェッカーが必要です。

この研究は、これらの切り刻まれた古いメモからエンジニアリング変更の履歴を復元することは可能であるが、たとえ「作られた言葉」を修正したとしても、AIが論理的なエラーを起こすことは避けられないということを示しています。「グラウンディング（根拠に基づけ）」という指示（慎重になるよう伝えること）は状況を悪化させますが、「事後フィルター（作業後にチェックすること）」は、作られた言葉を排除し、正確さを向上させることができます。ただし、それはAIが物事の関連性について混乱していることを修正することはできません。これは、空想にふけるロボットに対処する最善の方法は、説教することではなく、たとえロボットがストーリーの展開を間違えたとしても、嘘を見抜くことができる「ファクトチェッカー」を与えることである、という教訓を残しています。