Verifiable Knowledge Expansion through Retrieval-Grounded Formal Concept Analysis

기술 요약: 검색 기반 정형 개념 분석을 통한 검증 가능한 지식 확장

문제 정의
희귀 질환을 표현형 속성에 매핑하는 것과 같은 생의학 온톨로지 구축은 전통적으로 도메인 전문가의 비용이 많이 드는 수동 큐레이션을 필요로 합니다. 대규모 언어 모델(LLM)이 텍스트로부터 구조적 지식을 제안할 수는 있지만, 그 출력물은 종종 검증 가능성이 부족하여 근거가 없거나 일관성이 없는 관계를 생성합니다. 핵심적인 기술적 과제는 제안된 지식 구조가 영구적인 확정(commitment)이 되기 전에 이를 검증하는 것입니다. 구체적으로, 시스템은 표적화된 구조적 질문을 던질 수 있어야 하며, 제안된 규칙성(예: "증상 A와 B를 가진 질병 X는 반드시 증상 C를 가져야 한다")이 실패할 경우 반례를 통합할 수 있어야 합니다.

방법론
본 논문은 기호적 검증 루프로서의 **정형 개념 분석(Formal Concept Analysis, FCA)**과 소형 언기 모델(Small Language Models, SLMs) 기반의 검색 증강 생성(Retrieval-Augmented Generation, RAG) 시스템을 결합한 하이브리드 프레임워크를 제안합니다. 이 과정은 다음과 같은 반복적인 온톨로지 탐색 루프로 작동합니다:

1. 초기화: 시스템은 유한하고 통제된 표현형 속성 세트($M$)와 시드 부분 집합($M_0$)에서 시작합니다.
2. FCA 속성 탐색: 현재의 정형 컨텍스트(관찰된 객체 $E_\tau$ 및 활성 속성 $M_\tau$)를 사용하여, FCA 모듈은 후보 함축(implication, $A \rightarrow B$)을 생성합니다. 함축은 속성 집합 $A$를 가진 모든 질병이 반드시 속성 집합 $B$를 가져야 함을 제안합니다.
3. RAG 기반 SLM 오라클: 각 후보 함축에 대해, 시스템은 전제와 결론에 관련된 질병 수준의 텍스트 증거를 검색합니다. 그 후 SLM 오라클은 제약이 있는 증거 기반 이진 판단을 수행합니다:
   • 수용(Acceptance): 증거가 함축을 뒷받받하는 경우, 이를 함축 기저(implication base)에 추가합니다.
   • 거절(Rejection): 증거가 함축과 모순되는 경우, 오라클은 반드시 특정 반례 객체(counterexample object)(속성 $A$를 가지고 있으나 $B$의 속성을 적어도 하나 결여한 질병)를 반환해야 합니다.
   • 발생 판단(Incidence Judgment): 오라클은 또한 검색된 스니펫을 바탕으로 특정 객체-속성 쌍(YES/NO)의 유효성을 검증합니다.
4. 컨텍스트 업데이트: 수용된 함축은 지식 베이스를 정교화합니다. 거절된 함축은 관찰된 컨텍스트에 반례 객체를 도입하여, 시스템이 과도하게 일반화하는 것을 방지합니다.
5. 속성 확장: 시스템은 수용된 함축의 폐쇄(closure)와 검색된 증거를 바탕으로 다음 라운드를 위한 새로운 속성을 제안하며, 이를 통해 활성 속성 세트 $M_\tau$를 점진적으로 확장합니다.

이 프레임워크는 반복적이고 증거에 기반한 의사결정을 수행하는 데 있어 소형 모델 사용의 비용 효율성과 성능 간의 트레이드오프를 평가하기 위해 세 가지 서로 다른 SLM(Gemma2:2B, Llama3.2:3B, Qwen2.5:1.5B)을 활용합니다.

주요 기여
본 논문은 세 가지 주요 기여를 합니다:

1. FCA 기반 검증 루프: 함축과 반례를 통해 객체-속성 구조를 테스트하는 메커즘으로, 증거 없이 구조적 확정이 이루어지지 않도록 보장합니다.
2. 검색 기반 SLM 오라클: 파라미터 메모리에만 의존하는 대신, 외부의 검색 가능한 증거에 국소적 판단을 근거하게 하는 저비용 인터페이스입니다.
3. 기호적-비기호적 하이브리드: FCA가 글로벌 구축 로직(질의 제안 및 컨텍스트 관리)을 제어하고, 언어 모델이 증거 기반의 로컬 결정(local decisions)을 처리하는 시스템입니다.

실험 결과
프레임워크는 Orphadata 및 Human Phenotype Ontology(HPO)에서 추출한 희귀 운동실조(ataxia) 질환 데이터셋을 통해 평가되었습니다. 실험은 10개의 시드 속성에서 시작하여 20 라운드 동안 진행되었으며, 20개의 시드를 사용하는 2차 실험도 수행되었습니다.

• 성능 지표:
  • 관계 점수(F1): 10개 시드 실행 시 0.29에서 0.52 사이의 범위를 보였습니다. Llama3.2:3B가 가장 높은 관계 F1(0.52)을 달성했으며, Gemma2:2B는 가장 높은 재현율(0.87)을 보였으나 정밀도는 낮았습니다.
  • 함축 점수(F1): 10개 시드 실행 시 0.22에서 0.30 사이의 범위를 보였습니다. Qwen2.5:1.5B가 가장 높은 함축 F1(0.30)을 달성했습니다.
  • 시드 크기의 영향: 시드 세트를 20개 속성으로 늘리면 모든 모델의 함축 F1 점수가 향상되었습니다(예: Gemma는 0.22에서 0.36으로 상승, Qwen은 0.41에 도달). 그러나 이것이 생성된 속성을 골드 스탠다드와 대조하는 병목 현상을 완전히 해결하지는 못했습니다.
• 소거 연구(Ablation Studies):
  • LLM 전용 (검색 미사용): 검색을 제거하면 탐색된 컨텍스트가 작아져 조기에 종료되었습니다. 이러한 실행은 높은 함축 F1(최대 0.67)을 보였으나, 객체 및 속성 세트를 효과적으로 확장하는 데 실패했습니다. 이는 컨텍스트 성장을 위해 검색이 필수적임을 강조합니다.
  • 고정된 객체-속성 설정: 질병과 속성의 집합을 고정했을 때(발견의 어려움을 제거했을 때)에도 최상의 관계 F1은 0.31에 불과했습니다. 이는 주요 병목이 단순히 엔티티를 발견하는 것이 아니라, 가용한 텍스트 증거로부터 특정 질병-표현형 발생 여부를 정확하게 판단하는 데 있음을 나타냅니다.

의의 및 주장
본 논문은 자신의 방법론을 완전한 자동 온톨로지 생성기가 아닌, 검증 가능한 구축 절차로 겸허하게 위치시킵니다.

• 검사 가능성: 시스템은 수용된 함축, 거절된 함축, 반례, 수정 사항의 추적 기록을 생성합니다. 이를 통해 도메인 전문가는 "블랙박스" 식의 생성을 수용하는 대신, 왜 특정 구조적 확정이 이루어지거나 거절되었는지 감사할 수 있습니다.
• 부분적 구축: 저자들은 출력물이 전체 제어된 표현형 속성 세트에 대한 정형적인 기초(canonical basis)가 아니라, 증거 접근이 가능한 컨텍스트에 대한 "탐색된 함축 집합"이라고 주장합니다.
• 한계점: 논문은 현재의 결과가 질병 정의 텍스트의 희소성(모든 큐레이션된 관계를 명시적으로 밝히지 않을 수 있음)과 셀 단위의 발생 여부 복구의 어려움에 의해 제한된다는 점을 인정합니다. 본 프레임워크는 임상 온톨로지가 되기 전 전문가의 검토를 필요로 하는 "감사 가능한 사전 큐레이션 산출물"로 제시됩니다.

요약하자면, 본 연구는 FCA의 엄격한 구조적 논리와 RAG 기반 SLM을 결합함으로써, 증거 검색의 한계와 전문가 감독의 필요성을 인지하는 조건 하에 생의학 지식을 확장하기 위한 확장 가능하고 검사 가능한 루프를 구축할 수 있음을 보여줍니다.