Recovering Engineering-Change Traceability from Legacy CNC Work Orders: A Pydantic Schema and Few-Shot LLM Extraction Baseline

想像你是一名正在試圖破解謎團的偵探，但線索並非整齊地寫在索引卡上，而是潦草地塗鴉在舊且皺巴巴的收據邊緣，文字混合著兩種語言，而且有些紙張已被飢餓的狗啃掉了。這就是**工程變更管理（Engineering Change Management, ECM）**的世界。在建造機器這場高風險的遊戲中，事情很少會完全按計劃進行。一個零件可能會損壞，一項規則可能會改變，或者某種材料可能需要更換。在大型、精密的工廠裡，這些變更會被記錄在龐大的數位資料庫中，就像完美的、有組織的檔案櫃。但在較小的工作坊中，這些變更的「歷史」往往存在於工人留在舊電腦系統上的微小、混亂的筆記中。這些筆記是製造業中的「自由文本（free text）」：簡短、混亂，且因為舊軟體的記憶體限制極小，常常在句子中途就被截斷了。

科學家面臨的挑戰，是將這些混亂、雙語（結合繁體中文與英文）的塗鴉轉化為電腦可以實際閱讀並使用的乾淨、結構化清單。這被稱為資訊擷取（Information Extraction）。這就像是試圖教機器人閱讀青少年混亂的簡訊，並將其轉化為一份正式報告。目標是在不丟失故事過程的前提下，找出「什麼」發生了變化、「何時」發生的變化，以及一個作業指令是如何與另一個作業指令相連的。如果我們無法做到這一點，企業將失去追蹤錯誤或改進的能力，這就像是在不知道道路走向的情況下駕駛汽車。

---

255 個字元限制之謎

在這項研究中，來自台灣的研究人員處理了一個非常具體且混亂的問題。他們前往一家 CNC 工具機公司（生產精密金屬零件的地方）觀察其舊有的作業指令。他們發現了 399 份作業指令，但其中只有 217 份帶有筆記。這些筆記是繁體中文與英文的混亂混合體，充滿了產業術語，而且——最關鍵的是——其中 125 份在正好 255 個字元處被生硬地截斷了。

為什麼是 255？原來該公司使用的是一個名為 Microsoft Access 的舊資料庫系統，該系統規定一個文字框只能容納 255 個字母。如果工人寫下的筆記過長，電腦就會直接將其切斷，通常正好切在句子中間或關鍵細節處。這就像是在讀食譜時，關於「加入雞蛋」的指示被切斷了，只剩下「加入……」然後就沒了。

團隊想要看看是否可以使用小型語言模型（Small Language Model, SLM）——一種既聰明到足以理解語言，又小到可以在一般電腦上運行而無需連接網路的 AI——來修復這個混亂。他們不想將公司的機密數據發送到巨大的雲端伺服器；他們希望保持數據的本地化與私密性。

偵探的工具箱：Pydantic 與「接地（Grounding）」測試

為了達成這個目標，研究人員建立了一個特殊的「模板」，稱為 Pydantic schema。將其想像成一個非常嚴格的數位餅乾模具。無論麵糰（文本）多麼混亂，模具都會強迫它變成完美的形狀。AI 被訓練去觀察混亂的筆記，並將資訊強行填入這個特定的形狀，識別出如「組件（Component）」（什麼零件改變了）、「替代（Substitution）」（原本的東西被換成了什麼）以及「追溯鏈結（Traceability Links）」（此作業如何與前一個作業相連）等資訊。

他們使用了一個擁有 30 億個參數的模型（在大型語言模型領域中屬於「小型」AI），並教導它如何填充這個餅乾模具。但有一個陷阱：AI 有點愛白日夢。當它看到關於機器零件的筆記時，有時會因為對「可能發生之事」過於興奮，而編造出原文中並不存在的細節。這被稱為幻覺（Hallucination）。這就像是一個學生在被要求總結故事時，因為覺得這樣能讓故事更好看，就憑空捏造了一個書中根本沒有的角色。

結果：擅長尋找，卻不擅長過濾

結果呈現出一種成功與一種非常特定之失敗的混合狀態。

首先是好消息：AI 在遵循規則方面表現得非常出色。在 96.9% 的情況下，它產出了格式完美且符合模具要求的答案。它成功找到了大部分的變更，甚至能察覺到筆記是否被截斷。

然而，這個 AI 有一個重大的性格缺陷：它太過慷慨了。

• 對於尋找事物的能力（召回率/Recall）： 它表現優異。它找到了 80% 的實際作業指令間的關聯。
• 對於準確性的能力（精確率/Precision）： 它表現糟糕。它聲稱找到的關聯中，實際上只有 10% 是真實存在的。

用白話來說：AI 在大喊：「我發現了一個連結！我發現了一個連結！」但它每 10 次當中只有 1 次是對的。它在沒有任何連結的情況下大喊了 9 次「我發現了一個連結！」。它為了表現得「樂於助人」而編造了連結，這在需要精確掌握發生了什麼事的工廠中是非常危險的。

兩種修正方案：警告 vs. 過濾器

研究人員嘗試了兩種不同的方法來阻止 AI 憑空捏造。

嘗試 1：「只談事實」提示詞（The "Just the Facts" Prompt）
他們嘗試對 AI 進行溝通，在提示詞中加入一條特殊指令：「僅寫下你在文本中能看到的內容。如果你不確定，請留白。」

• 結果： 這適得其反。AI 不僅停止了捏造，也停止寫下任何有用的資訊。它變得因為害怕犯錯而變得過於膽小，甚至把真實的資訊也刪除了。正確連結的數量從 80% 掉到了 40%。這條「只談事實」的指令讓 AI 變得畏首畏尾，無法履行職責。

嘗試 2：「真相過濾器」（The "Truth Filter"）
研究人員不再要求 AI 要謹慎，而是建立了一個獨立的自動過濾器，在 AI 完成工作後執行。這個過濾器有一個簡單的規則：「如果 AI 寫下了一個單字或數字，檢查該單字或數字是否出現在原始文本中。如果沒有，則刪除它。」

• 結果： 這是一個巨大的進步，但並非萬靈丹。過濾器並沒有改變 AI 找到事物的數量（召回率維持在 80%），但它抹除了所有不在文本中的「假單字」，將捏造字串的「幻覺」次數降至零。然而，AI 的準確度（精確率）僅從 10% 跳升至 13.3%。

為什麼沒有達到 100%？因為 AI 仍在犯另一種錯誤。即使它使用的單字是真實且存在於文本中的，它有時也會將這些單字掛載到錯誤的關係上。例如，它可能在筆記中看到兩個作業指令編號，便猜測它們之間有關聯，但實際上它們只是因為其他原因被並列提及。過濾器無法捕捉到這一點，因為這些單字本身是「存在」的；錯誤在於這些關聯的「邏輯」，而非單字本身。

總結

論文結論指出，針對這種特定且混亂的數據類型，你不能僅僅告訴 AI 要「誠實」。在這個規模下，AI 並不真正理解「文本中有的內容」與「我認為文本中有的內容」之間的區別。它需要一個決定性過濾器（Deterministic Filter）——一個僵化、無感的規則檢查器——來清理它的錯誤。

這項研究顯示，我們可以從這些破碎、殘缺的筆記中恢復工程變更的歷史，但我們必須接受：即便我們修復了「編造單字」的問題，AI 仍會在邏輯層面上犯錯。所謂的「接地（Grounding）」指令（告訴它要小心）反而會讓情況惡化，但「事後過濾（Post-hoc Filter）」（檢查其工作成果）則能成功移除所有捏造的單字並提升準確度，儘管它無法修復 AI 對事物關聯性的混淆。這提醒了我們，處理一個愛做白日夢的機器人時，最好的方法有時不是對它說教，而是給它一個能識破謊言的查證員，即便這個機器人對劇情轉折的理解依舊會出錯。