기술 요약: LLM 기반 산업 자산 운영을 위한 누락된 데이터 레이어로서의 지식 그래프

문제 정의

현재 산업 자산 운영을 위한 대형 언어 모델 (LLM) 에이전트는 평면 문서 저장소 (예: CouchDB, YAML, CSV) 를 대상으로 추론할 때 정확도가 제한적입니다. AssetOpsBench 벤치마크 (Patel et al., 2026) 에 따르면, GPT-4 및 GPT-4.1 과 같은 최첨단 모델조차 139 가지 산업 유지보수 시나리오에서 최대 작업 완료율이 약 65% 에 그칩니다. 해당 연구는 실패가 추론 능력 부족 때문이 아니라 오히려 '데이터 접근 실패'에 기인한다고 규명했습니다. 구체적으로 LLM 은 결정론적으로 처리되는 구조화된 쿼리 엔진이 수행하는 다음 작업들을 어려워합니다:

• 여러 비정형 문서에 걸친 이벤트 카운팅
• 명시적 링크 없이 이질적인 출처의 데이터 상관관계 분석
• 암시적 장비 의존성 탐색
• 장비 식별자 또는 센서 읽기 값의 환각 (hallucination) 방지

본 논문의 핵심 가설은 구조화된 운영 도메인에서 도구 뒤의 데이터 모델이 LLM 오케스트레이션 패러다임보다 주요 병목 현상이라는 점입니다.

방법론

저자들은 동일한 139 개 AssetOpsBench 시나리오를 사용하여 데이터 레이어와 LLM 의 역할만 변경한 세 가지 다른 아키텍처를 평가했습니다:

1. 아키텍처 A (베이스라인 - 도구 증강 LLM):

   • 메커니즘: LLM 이 의도를 파싱하고, 도구를 선택하며, 인수를 구성하고, 문서 저장소에서 원시 데이터를 검색한 후, 결과를 해석하여 답변을 종합합니다.
   • 데이터 레이어: 평면 문서 저장소 (CouchDB, YAML, CSV).
   • LLM 역할: 모든 추론, 데이터 탐색 및 집계 수행.

2. 아키텍처 B (NLQ + 그래프):

   • 메커니즘: LLM 은 타입이 지정된 스키마를 기반으로 구조화된 Cypher 쿼리를 생성하도록 제한됩니다. 그래프 엔진이 쿼리를 결정론적으로 실행하고, LLM 은 구조화된 결과를 바탕으로 최종 답변을 종합합니다.
   • 데이터 레이어: 781 개의 노드, 955 개의 엣지, 16 가지 관계 유형을 가진 타입 지정 지식 그래프 (KG) (전체 파이프라인에서는 1,360 개의 노드와 2,500 개의 엣지로 확장됨).
   • LLM 역할: 코드 생성 (자연어에서 Cypher 로).

3. 아키텍처 C (결정론적 핸들러):

   • 메커니즘: 사전 코딩된 핸들러가 질문 패턴을 직접 Cypher 쿼리에 매칭합니다.
   • 데이터 레이어: 동일한 지식 그래프.
   • LLM 역할: 없음.

지식 그래프 구축:
저자들은 AssetOpsBench 데이터 소스를 14 가지 노드 레이블 (예: Site, Equipment, Sensor, FailureMode) 과 21 가지 엣지 유형 (예: contains_equipment, monitors, depends_on) 을 포함하는 그래프 스키마로 변환하는 ETL 파이프라인을 구축했습니다. 해당 그래프는 다음을 포함합니다:

• ISA-95 및 ISO 14224 분류를 갖춘 장비 계층 구조
• 장비에 연결된 센서 메타데이터
• 벡터 유사도 검색을 위한 384 차원 Sentence-BERT 임베딩이 포함된 고장 모드
• 시간적 기능을 갖춘 이벤트 로그
• 열/전기적 의존성과 공유 인프라를 모델링한 의존성 토폴로지

구현에는 OpenCypher, HNSW 벡터 인덱싱 및 그래프 알고리즘 (PageRank, NSGA-II) 을 지원하는 임베디드 그래프 데이터베이스인 Samyama가 사용되었습니다.

주요 결과

139 개 시나리오 성능

LLM 모델을 일정하게 유지하면서 데이터 레이어를 변경함으로써 성능이 크게 향상됨을 연구는 보여줍니다:

• 아키텍처 A (베이스라인): 65% 통과율 (91/139), AssetOpsBench 리더보드 상한선과 일치.
• 아키텍처 B (NLQ + 그래프): GPT-4, GPT-4o, GPT-4.1 을 사용하여 8283% 통과율 (114116/139). 이는 동일한 모델 계열을 사용한 베이스라인 대비 약 17 퍼센트 포인트 개선을 의미합니다.
• 아키텍처 C (결정론적): 99% 통과율 (137/139). 두 건의 실패는 지식 격차가 아닌 작업 지시 번들링의 응답 형식 불일치로 귀결되었습니다.

확장 평가 (467 개 시나리오)

확장된 AssetOpsBench HuggingFace 릴리스 (6 개 도메인의 467 개 시나리오) 에 대해 평가했을 때:

• 결정론적 핸들러: 평균 점수 0.848로 100% 통과율 (467/467) 달성.
• 그래프 네이티브 기능: 저자들은 다중 홉 의존성, 벡터 유사도 및 PageRank 중요도를 요구하는 40 개의 새로운 시나리오를 도입했습니다. 이러한 시나리오에서 지식 그래프 접근 방식은 100% 통과율과 평균 점수 0.927 을 달성한 반면, 그래프가 없는 GPT-4o 베이스라인은 85% 통과율과 0.602 의 평균 점수를 기록했습니다.

지연 시간 및 비용

• 지연 시간: 결정론적 그래프 쿼리의 평균은 63ms였으며, LLM 기반 아키텍처는 5~11 초였습니다.
• 비용: 하루 10,000 건의 쿼리에 대해 완전히 LLM 주도 아키텍처는 300~500 달러가 소요되는 반면, 결정론적 그래프 쿼리는 초기 ETL 이후 0 달러입니다.

중요성 및 주장

본 논문은 구조화된 운영 도메인에서 데이터 레이어가 주요 병목 현상이며, LLM 오케스트레이션 패러다임 (Agent-As-Tool 대 Plan-Execute) 보다 성능 개선을 위한 더 중요한 레버 역할을 한다고 주장합니다.

저자들은 "역전된 LLM 사용 (Inverted LLM Usage)" 개념을 도입합니다:

• LLM 에게 원시 데이터를 기반으로 추론하도록 요청하는 대신 (광범위하고 오류가 발생하기 쉬운 작업), 시스템은 LLM 에게 타입이 지정된 스키마에서 구조화된 쿼리를 생성하도록 요청합니다 (LLM 이 뛰어난 좁은 범위의 코드 생성 작업).
• 그런 다음 그래프 엔진이 탐색, 카운팅, 조인 및 알고리즘 실행과 같은 '어려운' 부분을 처리합니다.
• 이러한 관심사 분리는 알려진 쿼리 패턴에 대해 거의 완벽한 정확도를 달성하면서도 새로운 쿼리에 대한 자연어 인터페이스의 유연성을 유지할 수 있게 합니다.

본 논문은 구조화된 산업 데이터의 경우 지식 그래프가 원시 데이터와 LLM 기반 추론 사이의 필수 통합 레이어로 작용한다고 결론지었습니다. 결과는 구조화된 도메인의 경우 자유 형식 데이터 추론보다 스키마 인식 쿼리 생성이 더 우수하며, 결정론적 핸들러는 알려진 운영 패턴에 대해 거의 완벽한 신뢰성을 달성할 수 있음을 시사합니다.

한계 및 주의사항

저자들은 몇 가지 한계를 명시적으로 지적합니다:

• 정제된 데이터 가정: 벤치마크는 정제된 구조화된 데이터를 사용합니다. 실제 산업 환경에는 노이즈가 있는 센서, 스캔된 PDF, 일관성 없는 명명법이 포함되므로, 쿼리 레이어뿐만 아니라 데이터 수집 레이어 (개체 추출 및 해결) 에서도 LLM 이 필요합니다.
• 결정론적 대 자율적: 아키텍처 C 의 99% 성공률은 사전 코딩된 솔루션을 반영한 것이지, 에이전트가 독립적으로 답을 찾아내는 자율적 능력은 아닙니다.
• 구조적 한계: ML 추론 (예: 시계열 예측, 잔여 수명 RUL 예측) 이 필요한 시나리오는 저장된 데이터만 쿼리하여 해결할 수 없으며 외부 분석 모델이 필요합니다.
• 비결정론: NLQ 결과는 확률적 LLM 생성에 의존하며, 여러 시드 간의 변동성 특성은 향후 연구로 미루어졌습니다.