Tacit Knowledge Extraction via Logic Augmented Generation and Active Inference

기술 요약: 논리 강화 생성 및 능동 추론을 통한 암묵적 지식 추출

문제 제기
절차적 지식, 즉 과업을 수행하는 '방법'을 아는 것은 제조, 수리, 조립과 같은 분야에서 인간 전문성의 핵심입니다. 그러나 이러한 지식은 종종 "암묵적"이며, 명시적으로 문서화되지 않는 암묵적 가정, 구체화된 기술, 맥락적 제약, 그리고 경험 기반의 판단에 의존합니다. 지식 그래프 (KG) 와 온톨로지는 기계가 해석 가능한 표현을 위한 틀을 제공하지만, 현재의 추출 파이프라인은 두 가지 치명적인 한계에 직면해 있습니다:

1. 불완전성: 주로 명시적으로 진술되거나 관찰 가능한 정보만을 포착하여, 성공적인 실행에 필요한 암묵적 도구, 전제 조건, 그리고 제약을 표현하지 못합니다.
2. 신뢰성: 제약이 없는 대규모 언어 모델 (LLM) 생성은 종종 환각, 일관성 없는 스키마, 그리고 지지되지 않는 개체를 도입하여 결과 그래프의 검증이나 추론을 어렵게 만듭니다.

방법론
저자들은 교육용 자료 (동영상과 전사본) 로부터 온톨로지 기반의 지식 그래프를 구축하기 위해 **논리 강화 생성 (LAG)**과 능동 추론에서 영감을 받은 전략을 통합한 신경 - 심볼릭 프레임워크를 제안합니다.

1. 참조 온톨로지: 시스템은 절차적 워크플로우를 모델링하도록 설계된 맞춤형 온톨로지를 활용합니다. 주요 클래스로는 Process(프로세스), Step(단계), Operation(작업), Artifact(인공물), Tool(도구), Goal(목표), Content(내용) 가 있습니다. 이 온톨로지는 엄격한 타입 지정과 순차적 관계 (예: nextStep, prevStep) 를 강제하며, 소스 미디어에 대한 출처 링크를 보존합니다.
2. 논리 강화 생성 (LAG) 파이프라인:
   • 입력: 교육용 동영상 또는 그 자동 음성 인식 (ASR) 전사본.
   • 제약: LLM 은 참조 온톨로지와 특정 프롬프트에 의해 안내되어 대상 스키마를 인스턴스화하는 자원 기술 프레임워크 (RDF) 단언만 생성하도록 유도됩니다.
   • 검증: 생성된 그래프는 SHACL 제약 조건을 사용하여 온톨로지에 대해 검증되어 구조적 유효성과 정의되지 않은 클래스 또는 속성의 부재를 보장합니다.
   • 출력: GraphDB 트리 스토어에 로드된 검증된 Turtle 파일.
3. 능동 추론에서 영감을 받은 보강:
   • LAG 의 불완전성 (특히 전사본 전용 모드에서 시각적 단서가 누락될 때) 을 해결하기 위해 두 번째 추론 단계가 적용됩니다.
   • 메커니즘: 능동 추론 이론 (관찰, 숨겨진 상태 추론, 정책 재구성, affordance 추론) 의 개념을 차용하여, LLM 은 관찰된 행동이 물리적으로 가능하기 위해 필요한 "숨겨진 상태"를 추론하도록 프롬프트됩니다.
   • 추론 대상: 모델은 암묵적 도구, 인공물, 맥락적 제약, 경고, 그리고 prior beliefs(예: "나사를 조인다"는 호환되는 드라이버의 사용을 암시한다는 추론) 를 식별합니다.
   • 추적 가능성: 각 추론된 요소는 그 근거 (사용된 절차 스크립트 또는 패턴) 와 신뢰도 점수가 할당되어, 명시적으로 관찰된 데이터와 모델이 추론한 암묵적 지식을 구분합니다.

주요 기여

• 신경 - 심볼릭 프레임워크: 스키마 제약 추출을 위한 LAG 와 암묵적 지식 보강을 위한 능동 추론을 결합한 새로운 아키텍처.
• 온톨로지 설계: 절차적 워크플로우, 멀티모달 출처, 그리고 명시적 작업과 암묵적 제약 간의 구분을 표현할 수 있는 도메인 특화 온톨로지.
• 평가 프로토콜: 제조 조립의 대리 변수로 iFixit 의 산업용 수리 동영상을 사용하여 평가하는 엄격한 벤치마킹 설정으로, 전사본 기반 및 비전 기반 설정에서 다양한 모델 (독점, 오픈소스, 멀티모달) 을 평가합니다.

실험 결과
이 프레임워크는 iPhone 11, Google Pixel 6a, Sega Game Gear 의 세 가지 수리 절차에 대해 Gemini 3.1 Pro, Gemini 2.5 Flash, Claude Opus 4.6, GPT-5.2, Gemma 4 31b-it 모델을 포함하여 평가되었습니다.

• 온톨로지 준수: 모든 모델은 참조 스키마에 완벽하게 부합하는 구조적으로 유효한 그래프를 생성하여, LAG 가 환각된 클래스나 속성을 방지하는 데 효과적임을 확인했습니다.
• 정밀도 대 재현율:
  • 정밀도: LAG 프레임워크 하에서 도구 및 인공물 추출에 대해 모든 모델에서 완벽하게 유지되었습니다 (1.00). 이는 지지되지 않는 개체의 생성이 없었음을 나타냅니다.
  • 재현율 (LAG 만): 전사본 기반 모델은 누락된 시각 정보로 인해 상당한 격차 (0.50–0.81) 를 보였습니다. 비전 기반 모델은 더 잘 수행되었으나 여전히 암묵적 요소를 놓쳤습니다 (예: Gemini 3.1 Pro 의 인공물 재현율은 0.59).
• 능동 추론의 영향: 보강 전략은 정밀도를 훼손하지 않으면서 재현율을 크게 향상시켰습니다.
  • 전사본 기반 모델: 도구의 경우 재현율이 +0.21 에서 +0.38 증가했고, 인공물의 경우 +0.19 에서 +0.41 증가했습니다.
  • 동영상 기반 모델: 전반적으로 더 소극적인 향상을 보였으나, Gemini 3.1 Pro 는 인공물 재현율이 +0.34 증가했습니다.
  • 최종 성능: 보강 후 모든 모델은 0.95 이상의 F1 점수를 달성했습니다. 가장 우수한 전체 성능은 동영상 기반 모드에서 Gemini 2.5 Flash가 달성했습니다 (도구: 0.989, 인공물: 0.994).
• 비용 효율성: Gemini 2.5 Flash는 전체 파이프라인 비용이 시간당 5.18 달러로, Claude Opus 4.6 과 같은 더 큰 독점 모델보다 훨씬 저렴하면서 최고의 성능을 제공하여 가장 비용 효율적인 솔루션으로 떠올랐습니다.

의의 및 주장
이 논문은 이러한 접근 방식이 구조적 유효성과 절차적 완전성이라는 이중 과제를 해결함으로써 산업 도메인을 위한 신경 - 심볼릭 지식 공학을 발전시킨다고 주장합니다. 관찰된 지식과 추론된 암묵적 지식을 명시적으로 분리함으로써, 이 프레임워크는 전통적으로 포착하기 어려운 전문성을 형식화할 수 있게 합니다.

저자들은 이 시스템이 현재 제조업의 실세계 지식 이전을 위해 KnowledgeX 프로젝트에 적용되고 있으며, 특히 운영자 훈련을 위한 증강 현실 환경을 지원하기 위해 사용되고 있음을 강조합니다. 그들은 추출 품질이 높지만, 인간 운영자를 위한 지침의 "실행 가능성"에 대한 궁극적인 검증은 향후 사용자 연구를 필요로 한다는 점을 겸손하게 지적합니다. 이 연구는 논리적 제약과 추론 기반 보강을 결합함으로써 명시적 문서와 암묵적 전문성 간의 간극을 메우는 고품질의 기계 해석 가능 절차적 지식 그래프를 생성할 수 있음을 보여줍니다.