Evaluating the Use of LLM-based Multi-Agent Systems for Internal Information Sharing and Access Within Manufacturing

기술 요약: 제조 분야의 내부 정보 공유를 위한 LLM 기반 멀티 에이전트 시스템 평가

문제 정의
제조 기업 내의 내부 정보 공유는 현재 데이터 사일로(data silos), 이질적인 디지털 시스템, 그리고 특히 ISA-95 기능 계층 구조에 의해 정의된 IT/OT 간의 낮은 데이터 품질로 인해 저해되고 있다. 운영 기술(OT)과 정보 기술(IT) 데이터를 통합하기 위한 해결책으로 대규모 언어 모델(LLM)이 제안되고 있으나, 대표적인 제조 작업에 대해 보조 없는 인간 사용자와 비교하여 그 성능을 입증하는 실증적 근거가 현저히 부족하다. 또한, 기존 연구들은 ISA-95 하위 레벨(L1–L2)을 간과하는 경우가 많고, 정량적인 인간 벤치마킹이 결여되어 있으며, 실제 제조 현장에서 흔히 발생하는 가변적인 데이터 품질 조건(예: 스캐닝 오류, 식별자 절단) 하에서의 시스템 회복력을 테스트하지 못하고 있다.

연구 방법론
본 연구는 3D 프린팅 생산 라인인 VOOM 스마트 팩토리 데모니스트레이터를 활용하여 ISA-95 레벨 1부터 3까지를 아우르는 이질적인 데이터를 생성하였다. 데이터셋에는 위치 추적, 관계 추적, 패킹 리스트(PDF), 머신 로그, 그리고 승인된 출하 증명서(PDF)가 포함되었다.

LangChain 프레임워크를 사용하여 네 가지 특화된 에이전트를 특징으로 하는 모듈형 멀티 에이전트 LLM 시스템을 개발하였다:

1. 마스터 에이전트(Master Agent): 워크플로우를 조율하고 질의를 분해한다.
2. 데이터 검색 에이전트(Data Retrieval Agent): 도메인 특화 도구 세트를 통해 원시 데이터 소스와 인터페이스한다.
3. 조정 에이전트(Reconciliation Agent): 서로 다른 출처의 정보를 교차 검증한다.
4. 합성 에이전트(Synthesis Agent): 인간이 읽기 쉬운 보고서를 생성한다.

이 시스템은 기술적 문해력은 있으나 사전 제조 경험은 없는 9명의 참가자(공학 전공 학생)를 대상으로 세 가지 작업 복잡도에 걸쳐 벤치마킹되었다:

• E-Task (Easy): 3단계 정보 검색.
• M-Task (Medium): 4단계 추적성 확인.
• H-Task (Hard): 6단계 복합 검증.

성능은 네 가지 데이터 품질 조건 하에서 평가되었다:

• Q0: 베이스라인 (손상 없음).
• Q1: 식별자에 공백 주입.
• Q2: 식별자 절단.
• Q3: 관계 연결 단절 (일방향 제거).

세 곳의 제공업체(Anthropic, DeepSeek, OpenAI)에서 추출한 6개의 LLM을 테스트하였으며, 확률적 변동성을 고려하여 각 작업을 3회씩 실행하였다.

주요 결과

• 전반적인 성능: 상위 성능의 LLM들은 정확도와 속도 모두에서 평균적인 인간 참가자를 유의미하게 능가하였다. 6개 LLM의 평균 정확도는 **80.2%**였던 반면, 인간은 **62.2%**를 기록했다. 가장 우수한 모델인 Claude Sonnet-4는 **94.1%**의 정확도를 달달성했으나, 최고 성능의 인간 참가자는 100%를 기록했다. 그러나 더 작은 모델들(예: GPT-4o Mini, 50.7%)은 인간 평균보다 낮은 성능을 보였다.
• 속도: LLM은 실질적으로 더 빨랐다. LLM의 통합 중앙값 완료 시간은 14초였으며, 인간은 152초가 소요되었다.
• 작업 복잡도: 실험 설계의 가정과 달리, 작업 난이도는 단계 수와 선형적으로 상관관계를 보이지 않았다. 인간과 LLM 모두 단순한 3단계 E-task보다 복잡한 6단계 H-task에서 더 나은 성능을 보였는데, 이는 절차적 길이보다는 인터페이스 파편화와 검색 모호성이 오류율을 유발함을 시사한다.
• 데이터 품질 회복력:
  • 강건함(Robust): 시스템은 공백 주입(Q1)과 관계 연결 단절(Q3)에 대해 회복력을 보였으며, 인간이 어려움을 겪는 상황에서도 종종 완벽에 가까운 정확도를 유지했다.
  • 취약함(Vulnerable): 식별자 절단(Q2) 시 성능이 급격히 저하되었으며, 일부 모델에서는 정확도가 최대 42.2%포인트 하락했다. 이는 결정론적 룩업(lookup) 과정에서 문자 데이터가 누락될 때 발생하는 취약성을 강조한다.
• 프롬프트 민감도: 하위 연구에 따르면, 프롬프트의 장황함(컨텍스트 및 단계별 스캐폴딩 추가)을 늘릴수록 상위 모델들의 정확도가 유의미하게 감소하였으며, 일부 모델은 "Long" 프롬프트 조건에서 약 94%에서 약 22%로 정확도가 급락하였다.

주요 기여

1. 실증적 벤치마킹: 본 연구는 단순한 질적 설문이나 고립된 NLP 지표를 넘어, 제조 컨텍스트에서 통합 멀티 에이전트 LLM 시스템을 보조 없는 인간 운영자와 정량적으로 비교한 최초의 연구 중 하나이다.
2. 교차 레벨 평가: ISA-95 하위 레벨(L1–L2)에 대한 문헌 공백을 해결하며, IT/OT 경계를 가로지르는 데이터 검색 및 합성의 타당성을 입증하였다.
3. 데이터 품질 스트레스 테스트: 특정 데이터 오염 유형(공백, 절단, 연결 단절)이 자동화된 검색에 미치는 영향을 실증적으로 정량화하여, LLM이 노이즈에는 강하지만 식별자 절단에는 취약함을 밝혀냈다.
4. 아키텍처 검증: 적응형 검색 및 조정을 갖춘 멀다이전트 아키텍처의 유효성을 검증하여, 전통적인 RAG 시스템이 어려움을 겪는 교차 문서 합성 작업을 처리하는 능력을 보여주었다.

의의 및 주장
본 논문은 멀티 에이전트 LLM 시스템이 제조 정보 접근을 위한 의사결정 지원 계층으로서 강력한 잠재력을 가지고 있으며, 수동 프로세스에 비해 상당한 속도 및 평균 정확도 향상을 제공한다고 주장한다. 그러나 저자들은 이러한 이점이 조건부임을 강조한다:

• 모델 선택이 결정적임: 모든 LLM이 적합한 것은 아니며, 규모가 작거나 능력이 낮은 모델은 인간보다 성능이 떨어질 수 있다.
• 인간의 감독 필요: 최고의 인간 참가자들이 모든 모델을 능가했다는 점은 LLM이 숙련된 운영자를 대체하는 것이 아니라 보조해야 함을 나타낸다.
• 설계 제약 사항: 성공적인 배포를 위해서는 정교한 프롬프트 설계(과도한 장황함 방지), 엄격한 데이터 검증(특히 식별자 무결성 관련), 그리고 엣지 케이스 관리를 위한 인간의 감독이 필수적이다.

본 연구는 이러한 시스템이 제한된 환경 내에서 정보 사일로를 효과적으로 연결할 수 있지만, 통제되지 않은 실제 제조 현장에서의 생존 가능성을 확인하기 위해서는 더 큰 규모의 숙련된 참가자 그룹과 실제 산업 데이터를 통한 추가 검증이 필요하다고 결론짓는다.