Constructing Dynamic Master Logic Models as Knowledge Graphs for Complex System Diagnostics Using Retrieval-Augmented Large Language Models

당신이 우주선이나 원자력 발전소처럼 거대하고 복잡한 기계가 어떻게 작동하는지 이해하려고 노력하고 있다고 상상해 보십시오. 보통 엔지니어들은 무언가 고장 났을 때 어떤 일이 발생하는지 파악하기 위해 "결함 트리(Fault Trees)"라고 불리는 거대하고 복잡한 지도를 그려야 합니다. 이 지도들은 마치 떨어진 잎사귀나 부러진 나뭇가지만을 연구함으로써 숲 전체의 생태계를 이해하려는 것과 같습니다. 이러한 방식은 이미 알려진 문제에는 훌륭하지만, 아무도 생각지 못한 완전히 새롭고 기이한 고장이 발생할 경우, 이 지도들은 오직 미리 작성된 특정 재난 시나리오만을 찾기 때문에 실패하는 경우가 많습니다.

이를 해결하기 위해 과학자들은 "기능 모델링(Functional Modeling)"이라는 것을 사용합니다. 이는 단순히 고장 난 부품들을 나열하는 대신, 기계가 수행해야 할 기능들을 매핑하는 것입니다. 이는 자동차를 이해할 때 모든 부러진 볼트를 목록으로 만드는 것이 아니라, 엔진의 역할은 연료를 운동으로 바꾸는 것이고 바퀴의 역할은 그 운동을 움직임으로 바꾸는 것이라는 점을 이해하는 것과 같습니다. 만약 당신이 '기능(역할)'을 알고 있다면, 설령 한 번도 본 적 없는 문제일지라도 연료 공급이 중단되었을 때 어떤 일이 벌어질지 알아낼 수 있습니다. 이 논문은 이 분야의 거대한 장애물, 즉 이러한 "역할 지도(job maps)"를 자동으로 만드는 문제를 다룹니다. 지금까지 이러한 지도를 구축하려면 전문가들이 수천 페이지의 기술 매뉴얼을 읽고 연결 고리를 수동으로 그려야 했으며, 이는 몇 달이 걸리는 작업이자 대규모 시스템에 적용하기 어려운 과정이었습니다.

---

이 논문의 핵심 아이디어: AI에게 설계도를 그리도록 가르치기

이 논문은 대규모 언어 모델(LLM)과 "검색 증강 생성(RAG)"이라는 기술을 사용하여 이러한 "역할 지도"(DML 모델이라 불림)를 구축하는 영리한 새로운 방법을 소개합니다. LLert를 공학 매뉴얼 전체를 읽은 매우 똑똑하고 빠른 속도로 읽는 인턴이라고 생각해 보십시오. 하지만 이 인턴에게는 나쁜 습관이 하나 있습니다. 가끔 이야기를 지어내거나 이야기가 너무 길어지면 혼란스러워한다는 점입니다. 이를 해결하기 위해 저자들은 이 인턴에게 엄격한 규칙과 "검색 엔진(RAG)"을 부여하여, 무언가를 쓰기 전에 반드시 해당 업무와 관련된 매뉴얼의 특정 페이지를 찾아보도록 강제했습니다.

그 결과, 기술 문서를 자동으로 읽고 전문가가 그린 지도와 똑같이 생긴 "지식 그래프(Knowledge Graph, 디지털 연결망)"를 구축하는 시스템이 탄생했습니다. 저자들은 이 시스템을 퇴역한 원자력 발전소의 저압 냉각수 주입(LPCI) 시스템을 대상으로 테스트했습니다. 이 시스템은 원자로가 너무 뜨거워질 경우 물을 채워 넣도록 설계된 안전망입니다. 이 시스템은 펌프, 밸브, 파이프가 특정한 방식으로 함께 작동하는 복잡한 구조를 가지고 있습니다.

마법이 일어나는 방식: 층별로 요리하는 셰프

저자들은 단순히 AI에게 "전체 지도를 그려봐"라고 요청하지 않았습니다. 그것은 마치 셰프에게 단 한 문장으로 코스 요리 10개를 만들어 달라고 요구하는 것과 같습니다. 대신 그들은 집을 지을 때 지붕에서 기초까지 내려가는 것처럼, 작업을 여러 층(layer)으로 나누었습니다.

1. 검색(The Search): 시스템은 "원자로를 냉각한다"와 같은 높은 수준의 목표에서 시작합니다. 그리고 이 목표를 다루는 구체적인 섹션을 매뉴얼에서 검색합니다.
2. 추출(The Extraction): AI는 해당 섹션을 읽고 "이 목표를 달성하기 위해 어떤 기능들이 필요한가?"라고 묻습니다. 여기서 "물 펌프질"이나 "밸브 열기"와 같은 답을 찾아냅니다.
3. 연결(The Connection): 그런 다음, 새로 발견한 기능들을 바탕으로 다시 매뉴얼을 검색하여 그 일을 수행하는 구체적인 부품(구성 요소)들을 찾아냅니다.
4. 그래프(The Graph): 마지막으로, 이 모든 조각들을 하나의 디지털 그래프(지식 그래프)로 엮어냅니다. 여기서 각 노드는 부품이나 기능을 나타내며, 각 선은 이들을 연결하는 논리적 규칙(예: "AND" 또는 "OR")을 나타냅니다.

논문은 이 방법이 놀라울 정도로 잘 작동한다는 것을 보여줍니다. 동일한 원자력 발전소 문서에 대해 시스템을 다섯 번 실행했을 때, 시스템은 믿기 힘들 정도로 일관되게 지도를 구축했습니다. 거시적인 목표와 주요 기능에 대해서는 AI가 매번 100% 정확하게 맞혔습니다. 개별 밸브와 같은 세부적인 구성 요소 단계에서도 98%의 정확도를 보였습니다.

"무결성 점수(Integrity Score)": 지도의 품질은 어느 정도인가?

AI가 단순히 추측하는 것이 아님을 확인하기 위해, 저자들은 "무결성 점수"라는 특별한 채점 시스템을 만들었습니다. 학생의 숙제를 채점한다고 상상해 보십시오. 단순히 정답 여부만 확인하는 것이 아니라, 전체적인 맥락이 맞는지 확인하는 것입니다. 만약 학생이 중간 단계 하나를 놓친다면, 전체 답안은 무너지고 맙니다.

저자들은 AI에게 정보를 제공하는 방식이 매우 중요하다는 것을 발견했습니다. 만약 AI에게 너무 많은 부분을 한꺼번에 처리하도록 요청하면(큰 배치 크기), 지도의 품질이 약간 떨어졌습니다. 이는 마치 셰프에게 식사 전체에 들어갈 모든 채소를 한꺼번에 다지라고 명령하는 것과 같아서, 몇 가지를 놓칠 수 있는 상황입니다. 반면, 한 번에 한 단계씩 처리하도록 요청하면(배치 크기 1), 시간이 조금 더 걸리긴 했지만 지도가 가장 정확했습니다. 그들이 찾아낸 최적의 균형은 한 번에 다섯 단계씩 처리하는 것이었으며, 이는 지도를 매우 정확하게 유지하면서도(100점 만점에 약 89점) 제작 시간이 너무 오래 걸리지 않게 해주었습니다.

지도가 할 수 있는 일: 탐정과 기획자

지도가 완성되면, 이는 두 가지 주요 용도로 강력한 도구가 됩니다.

1. 상향 전파(Upward Propagation, 탐정): 특정 밸브가 고장 났을 때, 당신은 시스템에 "이것이 전체 발전소에 어떤 영향을 미치는가?"라고 물을 수 있습니다. 시스템은 실패를 사다리를 타고 위로 추적합니다. 예를 들어, "이 밸브가 고장 나면 펌프가 작동할 수 없고, 이는 냉각 기능의 실패를 의미하며, 결과적으로 원자로가 과열될 수 있다"라고 답할 수 있습니다. 이는 AI가 지도에 구축한 논리적 규칙을 따라 수행됩니다.
2. 하향 전파(Downward Propagation, 기획자): 또한 "원자로를 어떻게 냉각할 것인가?"라고 물을 수도 있습니다. 시스템은 사다리를 아래로 내려다보며 "펌프가 작동해야 하며, 이를 위해서는 밸브가 열려 있어야 하고 전력이 공급되어야 한다"라고 말해줄 것입니다. 시스템은 목표를 달성하기 위한 모든 다양한 방법들을 찾아내어, 시스템이 가진 백업 계획(중복성)을 보여줍니다.

주의 사항: 논문이 말하는 것과 말하지 않는 것

저자들은 이것이 완벽하고 완성된 제품이라고 주장하지 않습니다. 그들은 AI가 매뉴얼을 읽고 연결 고리를 그리는 데는 뛰어나지만, 인간 전문가처럼 물리 법칙을 "이해"하는 것은 아니라고 명시했습니다. 이 지도는 실제 현상을 완벽하게 시뮬레이션하는 것이 아니라, *텍리(텍스트)*를 표현한 것입니다.

예를 들어, 논문은 시스템이 가장 밀집되고 복잡한 부분(수많은 밸브와 파이프가 연결된 곳)에서 약간 어려움을 겪는다고 언급했습니다. 수백 개의 연결 중 한두 개를 놓칠 수도 있다는 뜻입니다. 또한, 이 시스템은 "공통 원인 고장(Common Cause Failures)"—예를 들어 제조 불량이나 공유된 전력 서지처럼 두 가지 서로 다른 부품이 동시에 고장 나는 상황—을 자동으로 인식하지 못합니다. AI는 대화 중에 이를 가능성으로 제시할 수는 있지만, 이를 지도의 핵심 로직에 직접 구축하지는 않습니다.

또한, 이 논문은 이 기술이 인간 전문가를 대체한다는 개념을 부정합니다. 대신, 이 도구는 "전투력 증강 도구(Force Multiplier)" 역할을 한다고 제안합니다. 전문가가 수개월 동안 읽고 그려야 했던 작업을 단 몇 일로 줄여주는 것입니다. 그러면 인간 전문가는 AI가 한 작업을 검토하며, 빠진 연결 고리를 찾아내고 지도가 진정으로 안전한지 최종 확인하는 역할을 맡게 됩니다.

결론

이 논문은 우리가 이제 AI를 사용하여 방대한 양의 지루하고 복잡한 기술 매뉴얼을, 거대 기계가 어떻게 작동하고 고장 났을 때 어떤 일이 벌어지는지 이해할 수 있게 해주는 인터랙티브하고 논리적인 지도로 바꿀 수 있음을 시사합니다. 이것은 모든 공학 문제를 즉시 해결하는 마법 지팡이는 아니지만, 복잡한 세상을 더 빠르고 일관되게 안전하게 지킬 수 있도록 돕는 강력한 새로운 도구입니다. 저자들은 적절한 "검색 및 검증" 전략을 사용한다면, AI가 공학적 논리의 언어를 배워 텍스트를 안전을 위한 살아있는 설계도로 바꿀 수 있음을 보여주었습니다.