Recovering Engineering-Change Traceability from Legacy CNC Work Orders: A Pydantic Schema and Few-Shot LLM Extraction Baseline

당신이 미스터리를 풀려는 탐정이라고 상상해 보십시오. 하지만 단서들은 깔끔하게 인덱스 카드에 적혀 있는 것이 아닙니다. 대신, 낡고 구겨진 영수증 가장자리에 휘갈겨 써져 있고, 두 가지 언어가 뒤섞여 있으며, 일부 종이는 배고픈 강아지가 씹어 먹어버린 상태입니다. 이것이 바로 **엔지니어링 변경 관리(Engineering Change Management, ECM)**의 세계입니다. 정밀한 기계를 만드는 고도의 긴장감이 흐르는 게임에서, 일들이 계획대로 진행되는 경우는 드뭅니다. 부품이 부서질 수도 있고, 규칙이 바뀔 수도 있으며, 재료를 교체해야 할 수도 있습니다. 거대하고 화려한 공장들에서는 이러한 변경 사항들이 완벽하고 조직적인 파일 캐비닛 역할을 하는 거대한 디지털 데이터베이스에 기록됩니다. 하지만 더 작은 작업장에서는, 이러한 변경의 "역사"가 종종 오래된 컴퓨터 시스템에 남겨진 노동자들의 작고 지저분한 메모 속에 살아 있습니다. 이 메모들은 제조 현장의 "자유 텍스트(free text)"입니다. 짧고, 혼란스러우며, 기존 소프트웨어의 메모리 제한 때문에 문장 중간에 툭 끊겨 버리기도 합니다.

과학자들의 과제는 이 지저지고 이중 언어로 된 낙서(번체 중국어와 영어가 섞인 것)를 컴퓨터가 실제로 읽고 사용할 수 있는 깔끔하고 구조화된 목록으로 바꾸는 것입니다. 이것은 **정보 추출(Information Extraction)**이라고 불립니다. 마치 로봇에게 십 대 청소년의 혼란스러운 문자 메시지를 읽게 한 뒤, 이를 공식 보고서로 변換하도록 가르치는 것과 같습니다. 목표는 과정 속에서 이야기를 잃어버리지 않으면서도, 무엇이 바뀌었는지, 언제 바뀌었는지, 그리고 하나의 작업 오더가 다른 작업 오더와 어떻게 연결되는지를 알아내는 것입니다. 만약 우리가 이를 해내지 못한다면, 기업들은 실수나 개선 사항을 추적할 능력을 잃게 되며, 이는 마치 도로가 어디로 이어지는지 모른 채 자동차를 운전하는 것과 같습니다.

---

255자의 제한이라는 미스터리

이 연구에서 대만 출신의 연구진은 매우 구체적이고 매우 지저분한 문제에 맞섰습니다. 그들은 정밀한 금속 부품을 제작하는 CNC 기계 공장에 가서 그곳의 오래된 작업 오더들을 살펴보았습니다. 그들은 399개의 오더를 발견했지만, 그중 노트가 작성된 것은 217개뿐이었습니다. 이 노트들은 번체 중국어와 영어가 뒤섞인 혼란스러운 상태였으며, 산업 용어로 가득 차 있었고—여기 결정적인 문제가 있습니다—그중 125개는 정확히 255자에서 글자가 잘려 나가 있었습니다.

왜 하필 255자일까요? 알고 보니 그 회사는 Microsoft Access라는 오래된 데이터베이스 시스템을 사용하고 있었는데, 이 시스템에는 텍스트 박스가 255글자만 담을 수 있다는 규칙이 있었습니다. 만약 작업자가 더 긴 노트를 작성하면, 컴퓨터는 문장 중간이나 중요한 세부 사항이 포함된 지점에서 글자를 그냥 잘라버렸습니다. 이는 마치 "계란을 넣으세요"라는 조리법의 지침이 "계란을..."까지만 적혀 있고 그 뒤는 텅 비어 있는 레시피를 읽는 것과 같습니다.

연구팀은 소형 언어 모델(Small Language Model, SLM)—언어를 이해할 만큼 똑똑하면서도 인터넷 연결 없이 일반 컴퓨터에서 실행될 수 있을 만큼 작은 AI—을 사용하여 이 난관을 해결할 수 있는지 확인하고 싶었습니다. 그들은 회사의 비밀 데이터를 거대한 클라우드 서버로 보내고 싶지 않았습니다. 대신 데이터를 로컬에 유지하며 프라이버시를 보호하고자 했습니다.

탐정의 도구 상자: Pydantic과 "그라운딩(Grounding)" 테스트

이를 해결하기 위해 연구진은 Pydick schema라고 불리는 특별한 "템플릿"을 만들었습니다. 이것은 매우 엄격한 디지털 쿠키 커터라고 생각하면 됩니다. 아무리 지저분한 반죽(텍스트)이라 할지라도, 이 커터는 그것을 완벽한 모양으로 만들어냅니다. AI는 지저분한 노트를 보고 정보를 이 특정 모양에 맞춰 넣도록 훈련되었습니다. 여기에는 "구성 요소(Component)"(어떤 부품이 바뀌었는지), "대체(Substitution)"(무엇으로 바뀌었는지), 그리고 "추적성 링크(Traceability Links)"(이 작업이 이전 작업과 어떻게 연결되는지) 등이 포함됩니다.

그들은 30억 개의 파라미터를 가진 모델(거대 언어 모델의 세계에서는 "소형" AI에 해당함)을 사용하여 이 쿠키 커터를 채우도록 학습시켰습니다. 하지만 함정이 있었습니다. AI는 약간 몽상가 기질이 있다는 점입니다. 기계 부품에 대한 노트를 보면, AI는 실제로 존재하지 않는 내용임에도 불구하고 무엇이 사실일 수 있는지에 대해 너무 흥분한 나머지 세부 사항을 지어내곤 합니다. 이것을 **환각(Hallucination)**이라고 합니다. 이는 마치 학생이 이야기를 요약하라는 질문을 받았을 때, 이야기가 더 좋아질 것이라는 생각에 책에 나오지도 않은 캐릭터를 만들어내는 것과 같습니다.

결과: 찾기는 잘하지만, 걸러내기는 못함

결과는 성공과 아주 특정한 종류의 실패가 섞여 있었습니다.

먼저 좋은 소식입니다. AI는 규칙을 따르는 데 매우 뛰어났습니다. **96.9%**의 확률로, AI는 쿠키 커터에 딱 맞는 완벽하게 포맷된 답변을 생성했습니다. AI는 대부분의 변경 사항을 성공적으로 찾아냈으며, 노트가 잘려 있는 경우까지도 식별할 수 있었습니다.

하지만 AI에게는 중대한 성격 결함이 있었습니다. 바로 지나치게 관대하다는 점이었습니다.

• 찾기 능력(Recall) 측면에서는: 훌륭했습니다. 실제 작업 오더 간의 연결 관계를 80% 찾아냈습니다.
• 정확도(Precision) 측면에서는: 형편없었습니다. AI가 찾아냈다고 주장한 연결 중 실제로 진짜였던 것은 단 **10%**뿐이었습니다.

쉬운 말로 하자면, AI는 "연결을 찾았다! 연결을 찾았다!"라고 외쳐댔지만, 그 말이 맞았던 경우는 10번 중 단 1번뿐이었습니다. 연결이 전혀 없는데도 도움을 주려는 마음에 10번 중 9번은 "연결을 찾았다!"라고 외쳤던 것입니다. 이는 정확히 무엇이 일어났는지 알아야 하는 공장에서 매우 위험한 행동입니다.

두 가지 해결책: 경고인가, 필터인가

연구진은 AI가 내용을 지어내는 것을 막기 위해 두 가지 다른 방법을 시도했습니다.

시도 1: "사실만 말하라"는 프롬프트
그들은 AI에게 "텍s에 보이는 것만 적으시오. 확실하지 않다면 빈칸으로 두시오"라는 특별한 지침을 프롬프트에 추가하여 말을 걸어보았습니다.

• 결과: 이는 역효로 작용했습니다. AI는 단순히 지어내는 것을 멈춘 것이 아니라, 유용한 정보 자체를 쓰지 않게 되었습니다. AI는 실수를 저지르는 것이 두려워진 나머지 실제 정보까지 삭제해 버렸습니다. 올바른 연결의 수가 80%에서 40%로 떨어졌습니다. "사실만 말하라"는 지침은 AI를 너무 소심하게 만들어 본연의 임무를 수행하지 못하게 만들었습니다.

시도 2: "진실 필터"
연구진은 AI에게 주의를 주는 대신, AI가 작업을 마친 후에 실행되는 별도의 자동 필터를 구축했습니다. 이 필터에는 간단한 규칙이 있었습니다. "만약 AI가 단어나 숫자를 썼다면, 그 단어나 숫자가 원본 텍스트에 정확히 존재하는지 확인하라. 만약 없다면 삭제하라."

• 결과: 이는 큰 개선이었지만, 마법 같은 해결책은 아니었습니다. 이 필터는 AI가 찾아낸 항목의 수(Recall은 80% 유지)를 바꾸지는 못했지만, 텍S에 없는 단어를 만들어내는 환각 현상을 **제로(0)**로 만들었습니다. 그러나 AI의 정확도(Precision)는 10%에서 **13.3%**로 상승하는 데 그쳤습니다.

왜 100%에 도달하지 못했을까요? AI가 다른 종류의 실수를 저지르고 있었기 때문입니다. 설령 AI가 사용하는 단어들이 실제 텍스트에 존재하더라도, AI는 가끔 그 단어들을 잘못된 관계에 연결하곤 했습니다. 예를 들어, 노트에서 두 개의 작업 오더 번호를 보고, 그것들이 단순히 옆에 나열되어 있을 뿐인데도 서로 연결되어 있다고 추측하는 식입니다. 필터는 이를 잡아낼 수 없습니다. 왜냐하면 단어 자체는 텍스트에 존재하기 때문입니다. 오류는 단어가 아니라, 연결의 논리에 있었습니다.

시사점

이 논문은 이러한 특정한 유형의 지저분한 데이터를 다룰 때, 단순히 AI에게 "정직해져라"라고 말하는 것만으로는 부족하다고 결론짓습니다. 이 정도 규모의 AI는 "텍스트에 있는 것"과 "자신이 생각하는 것"의 차이를 진정으로 이해하지 못합니다. AI에게는 결정론적 필터(Deterministic Filter), 즉 지어낸 말을 잡아낼 수 있는 엄격하고 무미건조한 규칙 검사기가 필요합니다.

이 연구는 우리가 이 오래되고 잘려 나간 노트들로부터 엔지니어링 변경의 역사를 복구할 수 있음을 보여줍니다. 다만, 단어를 조작하는 오류를 고친 후에도 AI가 논리적 오류를 범할 수 있다는 점을 받아들여야 합니다. "그라운딩(Grounding)" 지침(주의를 기울이라고 말하는 것)은 상황을 악화시키지만, "사후 필터(Post-hoc filter)"(작업 후에 검토하는 것)는 조작된 단어들을 모두 제거하고 정확도를 높여줍니다. 비록 AI가 사물의 관계에 대해 혼동하는 것까지는 고칠 수 없더라도 말입니다. 이는 때때로 몽상가 로봇을 다루는 가장 좋은 방법은 훈계하는 것이 아니라, 로봇이 줄거리를 틀리더라도 거짓말을 잡아낼 수 있는 팩트 체크 전문가를 붙여주는 것임을 상기시켜 줍니다.