AI-Assisted Knowledge Access for Legacy Enterprise Asset Management in Energy Operations: A Practical Retrieval System

거대한 고대 도서관을 걷고 있다고 상상해 보십시오. 이 도서관은 발전소를 운영하는 데 필요한 비밀들을 간직하고 있습니다. 이 도서관은 명확한 라벨이나 디지털 검색창이 있는 현대적인 방식과는 다르게 조직되어 있지 않습니다. 대신 먼지 쌓인 두루마리, 손으로 쓴 메모, 그리고 50년 전의 설계도들이 뒤섞인 혼란스러운 미로와 같습니다. 어떤 책들은 가장 오래된 사서들만이 이해할 수 있는 이상한 암호로 쓰여 있고, 다른 것들은 설명도 없이 그저 숫자들의 목록일 뿐입니다. 과학과 공학의 세계에서, 이것은 기업들이 '레거시 시스템(legacy systems)'—수십 년 동안 실행되어 온 오래된 소프트웨어—에 의존할 때 발생하는 현상입니다. 이 시스템을 버리고 새로운 도서관을 짓는 것은 너무 비용이 많이 들고 위험하기 때문에, 그들은 계속해서 기존의 것을 사용해야만 합니다. 연구자들이 던지는 핵심 질문은 이것입니다: 전체 건물을 허물지 않고도 어떻게 사람들이 이 혼란 속에서 올바른 정보를 찾도록 도울 수 있을까? 그 답은 '검색 증강 생성(Retrieval-Augmented Generation, 줄여서 RAG)'이라는 개념에 있습니다. RAG를 아주 똑똑하고 극도로 체계적인 사서 조수로 생각해 보십시오. RAG는 단순히 답을 추측하거나 지어내는 대신, 특정 선반으로 달려가 정확한 페이지를 집어 들고, 그것을 읽은 다음, 자신이 어디에서 증거를 찾았는지 정확히 가리키며 당신에게 답을 알려주도록 훈련되었습니다. 이는 이야기꾼의 창의성과 팩트 체크의 엄격한 정확성을 결합한 것입니다.

이 논문은 온타리오 전력(Ontario Power Generation)을 위해 정확히 이런 종류의 사서 조수를 구축한 한 팀의 이야기를 들려줍니다. 이 회사는 에너지 운영을 관리합니다. 그들은 공통된 문제에 직면해 있었습니다: 엔지니어들이 오래되고 투박한 컴퓨터 시스템에서 답을 찾느라 매일 시간을 허비하고 있었던 것입니다. 정보는 존재했지만, 혼란스러운 이름, 흩어진 문서들, 그리고 지도 없이 우주선을 항해하는 듯한 사용자 인터페이스 아래에 파묻혀 있었습니다. 팀은 기존 시스템을 다시 사용할 수 있게 만들기 위해, 그 위에 지능적인 레이어로 자리 잡는 실용적인 오버레이(overlay) 역할을 하도록 설계된 '검색 어시스턴트'를 만들었습니다.

이 어시스턴트는 사용자가 비록 잘못된 단어를 사용하더라도, 사용자가 실제로 무엇을 묻고 있는지를 이해함으로써 작동합니다. 예를 들어, 엔지니어가 "압력 밸브를 어디서 고치나요?"라고 묻는다면, 어시스턴트는 시스템이 사용하는 특정 기술 용어와 오래된 코드를 찾아야 한다는 것을 알고 있습니다. 그런 다음 어시스턴트는 세 가지 다른 '정보 가족'을 검색합니다: 기계 제조사의 원본 매뉴얼, 시스템의 골격과 같은 숨겨진 데이터베이스 구조, 그리고 회사의 자체적인 규칙 및 가이드입니다. 적절한 정보 조각들을 찾으면, 어시스턴트는 단순히 텍스트 덩어리를 사용자에게 던져주는 것이 아닙니다. 대신, 직접적인 링크를 포함한 명확하고 근거 있는 답변을 구성합니다. 만약 답변이 특정 화면이나 패널을 언급한다면, 어시스턴트는 그 언급을 클릭 가능한 링크로 변환하여 사용자가 메뉴를 헤매지 않고 바로 그곳으로 갈 수 있게 해줍니다.

그들의 파일럿 테스트 결과는 상당히 유망했습니다. 그들이 새 어시스턴트를 기존 방식(엔지니어가 수동으로 검색하던 방식)과 비교했을 때, 차이는 분명했습니다. 어시스턴트는 찾아낸 답변의 품질을 개선했습니다. 구체적으로, 시스템이 제안한 상위 5개 결과에 대해, 정확도는 0.56에서 0.72로 뛰어올랐습니다. 또한 가장 적절한 답을 맨 위에 배치하는 능력도 향상되었는데, '평균 역순위(Mean Reciprocal Rank)'라는 점수가 0.43에서 0.58로 상승했습니다. 엔지니어들의 일상생활에 있어 아마도 가장 중요한 점은, 과업을 완료하는 데 걸리는 시간이 크게 단축되었다는 것입니다. 과업 완료까지 걸리는 중앙값 시간이 14.2분에서 8.3분으로 줄어들었습니다. 이는 약 41.5%의 감소입니다.

시스템을 테스트한 엔지니어들은 또한 더 높은 자신감을 느꼈으며 도구가 더 유용하다고 평가했는데, 도구 도입 전보다 낮은 점수를 기록했던 것과 대조적으로 두 척도 모두에서 5점 만점에 4.0점을 주었습니다. 또한 시스템은 오류를 피하는 데 훨씬 더 능숙해졌습니다. 실패하거나 쓸모없는 답변의 비율이 0.14에서 0.07로 절반으로 떨어졌습니다. 그러나 저자들은 이러한 결과가 제한된 수의 참가자와 프롬프트를 대상으로 한 작은 파일럿 연구에서 나온 것임을 주의 깊게 언급합니다. 그들은 이 결과를 모든 상황에 적용되는 최종적이고 입증된 해결책이라기보다 "파일럿 결과"라고 설명합니다. 그들은 이 방법이 이 특정 환경에서는 잘 작동하지만, 어디서나 통용되는지 확인하기 위해서는 더 큰 집단을 대상으로 한 추가 테스트가 필요하다고 제안합니다.

이 논문은 또한 이 시스템이 하지 않는 것에 대해서도 강조합니다. 이 시스템은 기존 소프트웨어를 대체하거나 회사의 역사를 새로 쓰지 않습니다. 이 시스템은 나쁜 데이터를 마법처럼 고치거나 낡은 매뉴얼을 수정하지 않습니다. 사실, 저자들은 기초 정보가 명확한 설명과 함께 정성껏 준비되고 '풍부하게(enriched)' 만들어졌을 때 시스템이 가장 잘 작동한다는 것을 발견했습니다. 만약 소스 문서가 모호하거나 용어가 혼란스럽다면, 어시스턴트는 여전히 막힐 수 있습니다. 팀은 화려한 AI 모델 하나만으로는 문제를 해결할 수 있다는 생각을 명시적으로 배제했습니다. 대신, 그들은 비결이 '시맨틱 인리치먼트(semantic enrichment)', 즉 AI가 데이터를 더 잘 이해할 수 있도록 데이터를 정제하고 라벨을 붙이는 과정이라는 것을 발견했습니다.

결론적으로, 이 논문은 오래된 건물을 다시 유용하게 만들기 위해 반드시 철거할 필요는 없다는 점을 시사합니다. 그 위에 스마트하고 안내적인 레이어를 추가함으로써, 사람들이 미래를 건설하는 동안 과거를 탐색하도록 도울 수 있습니다. 팀은 이 접근 방식이 에너지, 금융 및 기타 산업 분야에서 기존 시스템을 다루는 표준적인 방법이 되기를 희망합니다. 그들은 이 시스템을 지속적으로 테스트하고, 시간이 지남에 따라 성능을 추적하며, 회사의 데이터가 변함에 따라 정확성을 유지할 수 있도록 규칙을 정교화할 계획입니다. 현재로서는, 약간의 AI 가이드가 매우 오래된 시스템을 마치 새것처럼 느껴지게 할 수 있다는 증거가 나타나고 있습니다.