기술적 요약: 신뢰할 수 있는 AI 는 암묵적 지식을 외부화해야 합니다

1. 문제 제기

본 논문은 현재 인공지능 (AI) 의 신뢰성에 근본적인 격차가 존재함을 지적합니다. 즉, 암묵적 지식을 검증할 수 없다는 점입니다. AI 시스템이 코딩, 법률 분석, 연구 등 지식 집약적 과제에서 놀라운 능력을 발휘하더라도, 이러한 능력은 종종 암묵적 지식에서 비롯됩니다. 이는 훈련 데이터로부터 학습된 추론 패턴, 도메인 직관, 디버깅 휴리스틱, 그리고 중간 단계들을 포함하지만, 공식적으로 문서화된 적은 없습니다.

저자들은 현재의 신뢰성 방법론이 AI 중심이며 이러한 격차를 해결하지 못한다고 주장합니다. 그 이유는 다음과 같습니다.

• 비가시성: 암묵적 지식은 모델 파라미터에 내재되어 있어 인간의 검사가 불가능합니다.
• 검증 불가능성: 논문이나 문서와 같은 명시적 지식과 달리, 암묵적 패턴은 검증할 외부 출처가 없습니다.
• 추적 불가능성: 특정 추론 패턴을 누가, 어떤 조건 하에서 검증했는지에 대한 기록이 없습니다.

결과적으로 AI 시스템은 환각 (hallucinations), 오보정 (과신), 그리고 표면적 형태에 대한 민감성과 같은 지속적인 실패 양상을 보입니다. 검색 증강 생성 (RAG), 자기 검증, 훈련 기반 정렬 (RLHF) 과 같은 기존 방법론들은 성능 지표를 최적화하지만, AI 능력을 주도하는 추론 과정에 대한 인간 검증을 위한 인프라를 제공하지는 못합니다.

2. 방법론 및 제안된 프레임워크

본 논문은 AI 능력과 인간의 신뢰성 사이의 격차를 해소하기 위해 **지식 객체 (Knowledge Objects, KOs)**를 중심으로 한 개념적 프레임워크를 제안합니다.

지식 객체 (KOs) 의 정의

KO 는 암묵적 지식을 외부화하는 구조화된 산출물로 정의됩니다. 이는 네 가지 구성 요소로 이루어집니다:

1. 지식 주장 또는 절차: AI 에서 도출된 핵심 주장이나 행동.
2. 지원 증거 또는 추론: 주장을 뒷받침하는 데이터 또는 논리.
3. 명시적 범위 및 한계: 문맥적 경계 (예: 특정 도메인, 동시성 수준).
4. 검증 메타데이터: 인간 검증 상태에 대한 기록 (누가, 언제, 어떤 확신도로 검증했는지).

KO-허브 협업 패러다임

저자들은 다음과 같은 워크플로우를 제안합니다:

1. 외부화: AI 시스템이 상호작용 데이터에서 암묵적 패턴을 추출하여 구조화된 KO 를 생성합니다.
2. 인간 검증: 도메인 전문가들이 이러한 KO 를 검사, 검증 또는 거부합니다.
3. 축적: 검증된 KO 들은 '집단적 인간 지식' 베이스에 게시됩니다.
4. 검색: 향후 AI 상호작용은 새로운 작업을 지원하기 위해 이러한 검증된 KO 를 검색하여, 시간이 지남에 따라 신뢰성이 증폭되는 선순환을 만듭니다.

다섯 가지 필수 속성

효과적이기 위해서는 KO 가 다섯 가지 특정 속성을 갖추어야 합니다:

• 이해 가능성: 전문가 평가가 가능하도록 인간이 읽을 수 있는 형식 (임베딩이 아님) 으로 표현되어야 합니다.
• 검증 가능성: 검증 상태와 출처에 대한 명시적 기록을 지원해야 합니다.
• 추적 가능성: 기원, 출처, 수정 이력을 유지해야 합니다.
• 제어 가능성: 인간이 전체 지식 단위를 폐기하지 않고도 수정, 교정 또는 한계 주석을 달 수 있어야 합니다.
• 재사용 가능성: 검증된 지식이 사용자 간에 공유 및 재사용되어 검증 비용을 분산시킬 수 있어야 합니다.

3. 주요 기여

본 논문의 주요 기여는 실험적이기보다는 이론적 및 구조적입니다:

• 신뢰성 문제의 재정의: 저자들은 모델 출력의 최적화에서 추론 과정의 외부화로 초점을 이동시킵니다. 그들은 암묵적 지식에 대한 인간 감독을 위한 인프라 없이는 신뢰성을 달성할 수 없다고 주장합니다.
• 현재 방법론에 대한 비판: 본 논문은 RAG, 내부 검증, 훈련 기반 방법, 에이전트 메모리라는 네 가지 주요 접근 방식을 체계적으로 분석하여 그 한계를 입증합니다. 결론적으로 네 가지 모두 암묵적 지식을 AI 시스템 내부에 가두어 비가시적이고 검증 불가능하게 만들기 때문에 실패한다고 결론지었습니다.
• 지식 객체 개념: 검증 경제를 변화시키도록 설계된 특정 산출물 유형으로서 KO 를 도입했습니다. 구조화된 외부화를 통해 검증 비용을 낮춤으로써 KO 는 누적적인 인간 검증을 실현 가능하게 합니다.
• 경제적 논증: 본 논문은 암묵적 지식이 외부화되지 않은 채 남아 있는 이유는 추출 비용이 지각된 가치를 초과하기 때문이라고 주장합니다. KO 는 이 비용을 낮춰 검증을 지속 가능하고 축적되는 자산으로 만듭니다.

4. 결과 및 증거

이 논문은 입장 논문 (position paper) 으로써 새로운 실험 결과, 벤치마크, 또는 경험적 데이터를 제시하지 않습니다. 대신, 그 "결과"는 다음과 같은 것들에서 도출됩니다:

• 문헌 종합: 본 논문은 현재 방법론이 불충분하다는 주장을 뒷받침하기 위해 기존 연구들 (예: 법률 AI 의 환각율, LLM 의 과신, 자기 일관성의 한계) 의 발견들을 종합합니다.
• 개념적 분석: 저자들은 'CodeAssist' 시나리오를 통해 KO 가 실제로 어떻게 작동할지 설명하며, KO 가 있는 시스템 (검증이 누적됨) 과 KO 가 없는 시스템 (모든 사용자가 처음부터 시작함) 을 대조합니다.
• 비교 분석: 표 1 과 3 절은 현재 방법론이 암묵적 지식을 '손대지 않음 (Untouched)', '노출되지 않음 (Unexposed)', '흡수됨 (Absorbed)', 또는 '비구조화됨 (Unstructured)'으로 방치하는 반면, KO 는 이러한 격차를 명시적으로 해결함을 보여주는 구조화된 비교를 제공합니다.

5. 중요성 및 주장

본 논문은 지식 객체가 신뢰할 수 있는 AI 시스템을 구축하기 위한 인간-AI 협업에 필수적인 허브라고 주장합니다. 그 중요성은 다음과 같습니다:

• 추론의 '블랙박스' 해소: 이는 사실적 출력뿐만 아니라 AI 의 '지능적' 측면 (추론, 판단, 직관) 을 검사 가능하게 만드는 경로를 제시합니다.
• 누적 신뢰성 가능화: 인간 검증을 일회성 비용이 아닌 축적되는 자산으로 만드는 메커니즘을 제안합니다. 이는 모델의 정적 속성에서 시스템 지식 베이스의 동적 속성으로 신뢰성을 전환시킵니다.
• 설계 철학의 전환: 저자들은 검색이나 일관성 최적화를 위한 AI 중심 설계에서, 검사 가능성과 검증을 최적화하는 인간 중심 설계로의 전환을 주장합니다.
• 기존 인프라 보완: 본 논문은 KO 가 전통적인 지식 관리 (위키, 지식 그래프) 를 대체하는 것이 아니라, AI 가 학습하지만 인간이 아직 문서화하지 않은 지식의 특정 계층을 관리함으로써 이를 보완한다고 명확히 합니다.

본 논문은 연구자, 시스템 빌더, 그리고 조직들이 의료, 법률, 공학과 같은 고위험 분야에서 KO 기반 시스템을 구현하기 위해 필요한 도구, 인터페이스, 거버넌스 프레임워크를 개발하라는 행동 촉구의 결론으로 마무리됩니다.