A Human-Centred Architecture for Large Language Models-Cognitive Assistants in Manufacturing within Quality Management Systems

이 논문은 제조업의 품질 관리 시스템 (QMS) 에 대형 언어 모델 기반 인지 보조 도구 (LLM-CA) 를 통합하기 위해 요구사항 분석과 소프트웨어 개발 과정을 고려한 인간 중심의 컴포넌트 기반 아키텍처를 설계하고, 전문가 포커스 그룹을 통해 검증하여 유연성, 확장성, 모듈성 및 업무 증강을 보장하는 방안을 제시합니다.

핵심

이 논문은 공장에서 일하는 사람들과 인공지능 (AI) 이 함께 일할 수 있는 '완벽한 팀워크 시스템'을 설계하는 방법에 대해 이야기합니다.

쉽게 말해, 공장에서 품질을 관리하는 시스템 (QMS) 안에 최신 AI(대형 언어 모델) 를 도입하고 싶지만, 어떻게 해야 안전하고 효율적으로 작동할지 고민하는 연구입니다.

이 복잡한 내용을 일상적인 비유로 설명해 드릴게요.

---

🏭 배경: 공장의 '질서'와 AI 의 '혼란'

공장은 ISO 9001이라는 '엄격한 매뉴얼'을 따릅니다. 모든 작업은 기록되고, 검증되어야 하죠. 마치 정교한 레시피처럼요.

반면, 최신 AI(대형 언어 모델) 는 재능은 넘치지만 가끔 망상 (Hallucination) 을 부리는 천재 요리사와 같습니다.

• 문제점: 이 천재 요리사가 레시피 없이 요리를 하거나, 엉뚱한 재료를 넣으면 공장의 품질이 망가집니다. 또한, 보안 문제나 잘못된 정보로 인해 위험할 수도 있죠.
• 현재의 한계: 기존 연구들은 AI 를 공장에 넣는 '기술'만 다뤘지, 공장의 '규칙 (품질 관리 시스템)'과 어떻게 조화시킬지에 대한 **건축도면 (소프트웨어 아키텍처)**은 없었습니다.

🏗️ 해결책: "인간 중심의 AI 건축도면"

저자들은 이 문제를 해결하기 위해 인간과 AI 가 함께 일하는 새로운 건축도면을 그렸습니다. 이 도면은 마치 스마트한 주방을 설계하는 것과 같습니다.

1. 핵심 설계 원칙 (비유: 주방의 역할 분담)

이 시스템은 여러 작은 로봇 (마이크로서비스) 이 협력하는 구조입니다.

• 🗣️ 대화 관리자 (Conversational Agent):
  • 비유: 매너 있는 웨이터
  • 사용자가 "이 기계 고장 났어"라고 말하면, 이를 이해하고 적절한 AI 에게 전달합니다. 목소리와 텍스트 모두 이해할 수 있게 합니다.
• 📚 지식 관리자 (RAG & Knowledge Base):
  • 비유: 실시간 업데이트되는 두꺼운 레시피북
  • AI 가 막연한 지식만 믿지 않고, 공장의 최신 매뉴얼, 작업 지시서, 기계 설명서 등을 실시간으로 찾아서 답을 줍니다. (RAG 기술)
• 🛡️ 안전 관리자 (Guardrailling & Security):
  • 비유: 엄격한 식중독 검사관
  • AI 가 엉뚱한 말을 하거나, 해킹 시도가 들어오면 막아줍니다. 또한, 새로운 정보를 넣을 때 그 정보가 사실인지, 위험한지 두 번 세 번 확인합니다.
• 🔄 피드백 루프 (Feedback & Human-in-the-loop):
  • 비유: 수석 셰프의 최종 점검
  • AI 가 답을 주면, 사람이 "이건 틀렸어" 혹은 "이건 더 보충해줘"라고 표시할 수 있습니다. 이 피드백은 다시 레시피북에 반영되어 시스템이 스스로 배워갑니다.

2. 시스템이 작동하는 방식 (이야기 흐름)

1. 질문: 작업자가 "A 기계가 왜 멈췄지?"라고 물어봅니다.
2. 검색: AI 는 머릿속 지식만 믿지 않고, **레시피북 (데이터베이스)**에서 최신 A 기계 수리 매뉴얼을 찾아냅니다.
3. 검증: **식중독 검사관 (보안)**이 이 정보가 안전하고 사실인지 확인합니다.
4. 답변: 작업자에게 "매뉴얼에 따르면 B 버튼을 누르세요"라고 답합니다.
5. 학습: 만약 작업자가 "아니, 그건 옛날 매뉴얼이야. 최신 건 C 버튼을 눌러야 해"라고 피드백을 주면, **수석 셰프 (관리자)**가 이를 검토해 레시피북을 최신 버전으로 업데이트합니다.

🌟 왜 이 연구가 중요한가요?

이 논문이 제안하는 시스템은 다음과 같은 장점이 있습니다.

• 안전함: AI 가 헛소리를 하거나 위험한 지시를 내리는 것을 막아줍니다. (규정 준수)
• 유연함: 공장의 규칙이 바뀌거나 새로운 기계가 들어와도 쉽게 적응합니다. (확장성)
• 인간 중심: AI 가 사람을 대체하는 게 아니라, 사람이 더 똑똑하게 일할 수 있도록 도와주는 조력자 역할을 합니다.

🚀 결론: 아직은 '설계도' 단계

이 연구는 아직 실제 공장에 설치된 '완성된 제품'은 아닙니다. 마치 건축가가 훌륭한 건물의 설계도를 완벽하게 그려낸 상태입니다.

저자들은 이 설계도가 실제 공장에서 어떻게 작동할지, 그리고 어떤 LLM(AI 모델) 이 가장 좋은 성능을 내는지 확인하기 위해 실제 공장 사례를 적용한 테스트를 다음 단계로 계획하고 있습니다.

한 줄 요약:

"이 논문은 공장에서 AI 가 질서를 지키며 인간과 함께 일할 수 있도록, 안전하고 유연한 '디지털 건축도면'을 처음부터 끝까지 설계한 연구입니다."

기술 요약

논문 요약: 품질 관리 시스템 (QMS) 내 제조업을 위한 인간 중심형 LLM-인지 보조 시스템 아키텍처

1. 문제 제기 (Problem Statement)

• 배경: 대형 언어 모델 기반 인지 보조 시스템 (LLM-CAs) 은 제조업의 품질 관리 시스템 (QMS) 내에서 운영 성과 향상, 지식 관리, 지속적 프로세스 개선을 도모할 잠재력이 있습니다.
• 현황 및 한계:
  • 기존 연구들은 LLM-CAs 의 개발에 집중하고 있으나, 제조업의 품질 관리 시스템 (QMS, ISO 9001:2015 기준) 에 특화된 인간 중심의 소프트웨어 아키텍처는 부재합니다.
  • 기존 솔루션들은 파인튜닝 (Fine-tuning) 과 검색 증강 생성 (RAG) 의 통합, 지식 베이스의 계층적 업데이트, 규정 준수 (Compliance), 사실 확인 (Fact-check), 그리고 '재일브레이크 (Jailbreak)' 방지 등의 핵심 요구사항을 종합적으로 다루지 못합니다.
  • QMS 는 감사 (Audit) 를 받기 위해 체계적인 문서 관리가 필수적이므로, LLM-CAs 를 도입할 때 버전 관리된 방대한 데이터 코퍼스 (작업 지시서, 모범 사례, 매뉴얼 등) 와의 통합이 필수적입니다.
• 연구 질문: "제조업의 QMS 내에서 인간 중심형 LLM-CAs 를 위한 시스템 아키텍처는 어떻게 설계할 수 있는가?"

2. 방법론 (Methodology)

• 개발 프로세스: 도메인 주도 설계 (Domain-Driven Design, DDD) 를 기반으로 한 소프트웨어 개발 프로세스를 적용했습니다.
• 요구사항 분석: Galdino 등 [1] 의 선행 연구를 바탕으로 기능적 요구사항 (FR) 과 비기능적 요구사항 (NFR) 을 도출했습니다.
  • 주요 요구사항: AI 신뢰성 확보, 적대적 입력에 대한 저항성, 인간 - 루프 (Human-in-the-loop) 포함, 규정 준수 무결성, 사용자 중심 설계 등 14 가지 핵심 요구사항을 정의했습니다.
• 아키텍처 설계 전략:
  • 마이크로서비스 기반 다중 에이전트 시스템 (MAS): 각 경계 컨텍스트 (Bounded Context) 를 독립적인 마이크로서비스로 구현하여 모듈성과 확장성을 확보했습니다.
  • 하이브리드 기술 적용: RAG(검색 증강 생성) 와 도메인 특화 어댑터 (Adapter) 를 통한 파인튜닝을 결합하여 도메인 지식의 정확성을 높였습니다.
  • 보안 강화: 해킹 시도 (Jailbreak) 방지 및 사실 확인을 위한 다중 보안 체크 메커니즘을 설계했습니다.
• 검증: 7 명의 도메인 전문가 (학계 및 산업계) 를 대상으로 한 **반복적인 포커스 그룹 (Focus Group)**을 통해 아키텍처를 평가하고 수정했습니다. 두 차례의 세션을 거쳐 최종 설계를 확정했습니다.

3. 주요 기여 및 제안된 아키텍처 (Key Contributions & Results)

제안된 아키텍처는 마이크로서비스 기반의 다중 에이전트 시스템으로, 다음과 같은 핵심 컴포넌트와 기능으로 구성됩니다 (그림 1 참조):

• 주요 컴포넌트:

  1. ChatController: 사용자 인터페이스 (UI) 와의 인터페이스 역할을 하며, 전체 아키텍처의 조율자입니다.
  2. ConversationalAgent: 음성 및 텍스트 기반의 다중 모달 상호작용을 담당합니다.
  3. LLMAgent (핵심):
     • Guardrailling: 사용자의 프롬프트와 모델 응답에서 유해한 내용을 식별하여 윤리적 및 조직적 원칙 (규정 준수 등) 을 준수하도록 통제합니다.
     • LLM with Adapters: 범용 LLM 에 도메인 특화 어댑터를 적용하여 파인튜닝된 성능을 제공하며, 함수 호출 (Function Calling) 을 통해 외부 도구 (계산, 데이터 분석 등) 와 연동합니다.
  4. RAGRetrieval: 최신 지식을 LLM 에 주입하기 위해 문서를 분석, 청킹 (Chunking), 임베딩하여 벡터 스토어에 저장하고 검색합니다.
  5. FeedbackEvaluation: 사용자의 피드백 (부족함, 확장 요청) 을 티켓으로 관리합니다.
     • 이중 보안 체크: 피드백 티켓이 벡터 스토어에 통합되기 전에 '재일브레이크 체크'와 '사실 확인 (Fact Check)'을 거칩니다.
     • 계층적 권한 관리: 감독자 (User group k-1) 는 답변을 수정하거나 문서를 업데이트할 수 있으며, 관리자 (User group k) 는 피드백 티켓을 통해 지식 격차와 시스템 품질을 분석합니다.
  6. Access Control List (ACL): 사용자 그룹별 권한을 관리하여 보안과 접근 제어를 보장합니다.

• 기술적 특징:

  • 유연성과 확장성: 마이크로서비스 구조로 인해 컴포넌트 교체 및 확장이 용이합니다.
  • 지속적 학습: 사용자의 피드백과 수정된 문서를 통해 지식 베이스가 지속적으로 업데이트되며, 이는 QMS 의 '지속적 개선' 원칙과 부합합니다.
  • 감사 추적성: 모든 대화 기록 (ConversationHistory) 과 지식 업데이트 이력이 저장되어 QMS 감사 요구사항을 충족합니다.

4. 의의 및 결론 (Significance & Conclusion)

• 연구의 의의:
  • 제조업의 QMS 환경에 LLM-CAs 를 통합하기 위한 첫 번째 포괄적인 소프트웨어 아키텍처를 제시했습니다.
  • 단순한 기술 도입을 넘어, 규정 준수, 데이터 보안, 인간 - 기계 협업을 고려한 '인간 중심 (Human-Centred)' 설계를 실현했습니다.
  • 기존 LLM 의 환각 (Hallucination) 문제와 보안 취약점을 해결하기 위해 RAG, 파인튜닝, 보안 체크를 통합한 실용적인 프레임워크를 제공합니다.
• 기대 효과:
  • 제조 현장의 직원들이 데이터 분석 및 프로세스 최적화와 같은 고부가가치 업무에 집중할 수 있도록 인지적 업무를 보조합니다.
  • 지식 관리의 효율성을 높이고, 실시간 의사결정을 지원하여 운영 성과를 개선합니다.
• 한계 및 향후 과제:
  • 현재는 이론적 설계 단계로, 실제 제조 현장에서의 완전한 기능 테스트는 이루어지지 않았습니다.
  • 향후 연구에서는 실제 제조 사례 (Use Cases) 를 통해 아키텍처를 운영화하고, 다양한 LLM 모델의 성능을 평가하여 아키텍처를 정교화할 예정입니다.

이 연구는 제조업의 디지털 전환 과정에서 AI 기술이 기존 품질 관리 체계와 어떻게 조화를 이루며 실질적인 가치를 창출할 수 있는지에 대한 중요한 청사진을 제시합니다.