기술 요약: FactoryLLM

문제 정의

현대적인 스마트 팩토리에서 생산 시스템은 하나의 구성 요소에서 발생한 결함이 여러 기계와 소프트웨어 계층으로 연쇄적으로 전파될 수 있는 상호 연결된 네트워크로 작동합니다. 이러한 교차 시스템 장애를 진단하는 것은 정보가 부족해서가 아니라, 핵심적인 기술 지식이 서로 다른 용어와 시스템 추상화를 사용하는 수백 페이지의 이질적인 매뉴얼에 파편화되어 있기 때문에 매우 어렵습니다.

기존 솔루션들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 키워드 기반 검색은 운영자의 질의가 기술 매뉴얼의 특정 용어와 일치하지 않을 경우 실패합니다.
• 규칙 기반 전문가 시스템은 광범한 수동 엔지니어링을 필요로 하며, 장비가 진화함에 따라 적응하는 데 어려움을 겪습니다.
• **지식 그래프(Knowledge graphs)**는 구축 및 유지 관리에 많은 비용이 듭니다.
• 현재의 LLM/RAG 구현은 제조 분야에서 일반적으로 단일 기계 또는 단일 문서 시나리오에 국한되어 있으며, 상호 작용하는 장치들(예: 하드웨어와 그 플릿 관리 소프트웨어)로부터 발생하는 이질적인 문서 간의 추론 능력이 부족합니다.
• 데이터 프라이버시: 많은 산업 애플리케이션은 독점적인 클라우드 모델에 의존하며, 이는 민감한 운영 데이터를 공유하기를 원치 않는 조직들에게 장벽이 됩니다.

방법론: FactoryLLM 아키텍처

이러한 격차를 해결하기 위해 저자들은 교차 기계 맥락에서 검색 증강 생성(RAG) 모델을 평가하기 위해 설계된 안전하고 오픈 소스인 AI 플레이그라운드인 FactoryLLM을 제안합니다. 이 시스템은 6개 계층의 설정 기반 파이프라인으로 구축되었습니다:

1. 설정 계층 (Configuration Layer): 운영자가 기반 LLM 제공자(로컬, 오픈 소스 또는 클라우드 모델 지원), 프롬프트 전략(Input-Output, Chain-of-Thought, Tree-of-Thought, Graph-of-Thought), 그리고 RAG 전략(벡터 기반 또는 그래프 기반)을 정의할 수 있도록 합니다. 모든 설정은 실험의 재현성을 보장하기 위해 지속적으로 저장됩니다.
2. 지식 수집 계층 (Knowledge Ingestion Layer): 기술 문서(PDF, DOCX, TXT)의 업로드 및 처리를 담당합니다. 문서는 청크(chunk) 단위로 분할되어 세션별 데이터베이스에 인덱싱됩니다. 시스템은 벡터 기반 검색을 위한 ChromaDB와 그래프 기반 검색을 위한 NebulaGraph를 모두 지원하여, 여러 기계(예: 자율 지능형 차량과 그 모바일 플래너 소프트웨어)의 문서를 통합 인덱싱할 수 있게 합니다.
3. 검색 계층 (Retrieval Layer): 질의를 받으면 이 계층은 선택된 RAG 전략을 실행합니다. 벡터 모드에서는 유사도 검색을 수행하고, 그래프 모드에서는 개념 간의 관계를 탐색합니다. 여러 기계의 통합 인덱스로부터 상위 k개의 관련 문서 섹션을 검색합니다.
4. 추론 계층 (Reasoning Layer): 구성된 LLM과 프롬프트 전략을 사용하여 검색된 컨텍스트를 처리하고 근거 있는 응답을 합성합니다.
5. 상호작용 계층 (Interaction Layer): 사용자가 질의를 제출하고 응답을 볼 수 있는 채팅 기반 인터페이스로, 사용자와 파이프라인 사이의 가교 역할을 합니다.
6. 평가 계층 (Evaluation Layer): 시스템은 성능 평가를 위해 이중 평가 설정을 채택합니다:
   • RAGAS 프레임워크: 충실도(faithfulness), 답변 관련성(answer relevance), 컨텍스트 정밀도(context precision), 컨텍스트 재현율(context recall)과 같은 지표를 측정합니다.
   • LLM-as-a-Judge: 생성 품질에 대한 추가적인 평가를 제공하기 위해 NVIDIA의 메트릭을 활용합니다.

주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. FactoryLLM 플랫폼: 서로 다른 기계와 프로세스에 걸친 다양한 이질적 문서 소스를 지원하도록 특별히 설계된 오픈 소스 기반의 안전한 LLM 플레이그라운드를 소개합니다.
2. 교차 기계 사례 연구: 자율 지능형 차량(AIV)과 그 모바일 플래너 플릿 관리 소프트웨어를 포함하는 현실적인 스마트 제조 시나리오를 사용하여 플랫폼의 효능을 입증합니다. 이 설정은 하드웨어와 소프트웨어 계층 모두에서 나타나는 결함을 진단하는 시스템의 능력을 테스트합니다.
3. 체계적 평가: 제조 유지보수 맥락에서의 표준화된 평가가 부족한 점을 해결하기 위해, 표준화된 지표(RAGAS 및 LLM-as-a-Judge)를 사용하여 여러 LLM과 프롬프트 전략을 종합적으로 평가합니다.

결과

저자들은 약 600 페이지의 교차 기계 문서(AIV 및 Mobile Planner 매뉴얼)에서 추출한 30개의 유지보수 질의를 대상으로 세 가지 LLM을 평가했습니다.

• 근거성 (Groundedness): 평가된 모든 모델은 0.88 이상의 근거성 점수를 달성하였으며, 이는 생성된 응답이 검색된 문서에 의해 강력하게 뒷받침되었음을 나타냅니다.
• 효과성 (Effectiveness): 결과는 FactoryLLM이 교차 기계 문서 추론을 수행하는 데 효과적이며, 이질적인 소스로부터 정보를 성공적으로 검색하고 합성하여 결함 시나리오를 설명할 수 있음을 시사합니다.
• 프라이버시 및 안전성: 시스템은 민감한 산업 데이터를 공유할 필요 없이 로컬 또는 오픈 소스 LLM을 실행할 수 있는 능력을 성공적으로 입증하여, 실험을 위한 통제된 환경을 제공했습니다.

의의 및 주장

본 논문은 숙련된 기술자들의 은퇴로 인해 복잡한 다중 시스템 결함을 진단할 수 있는 운영자가 줄어드는 상황에서, FactoryLLM을 스마트 제조의 "전문성 격차(expertise gap)"를 해결하기 위한 중요한 단계로 포지셔닝합니다.

• 격차 해소: FactoryLLM은 현재 RAG 시스템의 교차 기계 추론 능력 부족, 독점적(재현 불가능한) 구현의 만연함, 그리고 제조 유지보수 작업에 대한 표준화된 평가 지표의 부재라는 세 가지 구체적인 연구 공백을 메웁니다.
• 재현성 및 투명성: 오픈 소스이며 로컬 실행을 지원함으로써, 이 플랫폼은 커뮤니티가 데이터 프라이비시 우려 없이 다양한 모델과 전략을 테스트하고 비교할 수 있도록 합니다.
• 연구를 위한 베이스라인: 저자들은 FactoryLLM이 단일 문서 또는 단일 기계 평가를 넘어, 현대적인 팩토리 플로어의 상호 연결된 현실을 다루는 교차 기계 유지보수 추론 연구를 위한 반복 가능한 베이스라인을 제공한다고 주장합니다.

커뮤니티가 특정 제조 시나리오로 테스트할 수 있도록 전체 코드와 문서가 공개되어 있습니다.