AOP-Smart: A RAG-Enhanced Large Language Model Framework for Adverse Outcome Pathway Analysis

이 논문은 할루시네이션 문제를 해결하고 독성학적 위험 평가에 필요한 역학 정보의 정확성을 높이기 위해 AOP-Wiki 데이터를 기반으로 한 검색 증강 생성 (RAG) 프레임워크 'AOP-Smart'를 제안하고, 이를 통해 다양한 대형 언어 모델의 답변 정확도를 획기적으로 향상시켰음을 보여줍니다.

핵심

🧩 1. 문제: "모르는 척하는 똑똑한 AI" (할루시네이션)

상상해 보세요. 아주 똑똑한 학생 (AI) 이 있습니다. 이 학생은 책을 많이 읽어서 일반적인 지식은 매우 풍부합니다. 하지만 **특정 전문 분야 (여기서는 독성학, 즉 '화학물질이 인체에 어떤 나쁜 영향을 미치는지'를 연구하는 분야)**에 대해 물어보면, 이 학생은 사실과 다른 엉뚱한 이야기를 지어내기도 합니다.

• 현실: 이 학생은 'AOP(부작용 경로)'라는 거대한 지식 네트워크를 완벽하게 기억하지 못합니다.
• 결과: 질문을 받으면 기억나지 않는 부분을 임의로 만들어서 (할루시네이션) 답변합니다. 마치 "그건 제가 기억하기론 A 가 B 를 만났어요"라고 말하지만, 실제로는 A 와 B 는 전혀 관계가 없는 경우죠. 이는 의학이나 환경 연구에서는 매우 위험할 수 있습니다.

🛠️ 2. 해결책: "AOP-Smart"라는 똑똑한 비서

이 문제를 해결하기 위해 연구진은 AOP-Smart라는 새로운 시스템을 만들었습니다. 이 시스템은 AI 가 답변을 할 때, 실제 도서관 (AOP-Wiki) 에서 정확한 책을 찾아서 옆에 펼쳐놓고 읽게 해줍니다.

이 과정을 비유로 설명하면 다음과 같습니다:

1. 질문을 받으면 (사용자): "이 화학물질이 우리 몸에서 어떤 과정을 거쳐 병을 일으키나요?"라고 묻습니다.
2. 비서가 책을 찾습니다 (검색 단계):
   • AI 는 바로 대답하려 하지 않고, 먼저 AOP-Smart라는 비서에게 "관련된 책 찾아줘!"라고 요청합니다.
   • 비서는 거대한 도서관 (AOP-Wiki) 에서 **핵심 사건 (KE)**이라는 책들을 먼저 찾아냅니다. (예: "세포가 죽는 사건", "유전자가 변하는 사건" 등)
3. 연결고리를 찾아냅니다 (확장 단계):
   • 찾은 책들만으로는 부족합니다. 비서는 **"이 사건이 일어난 직후에 무슨 일이 생겼는지 (하류)"**와 **"이 사건이 일어난 이유는 무엇인지 (상류)"**를 찾아서 책들을 연결합니다.
   • 마치 레고 블록을 조립하듯, 사건과 사건 사이의 인과관계를 완벽하게 맞춰 하나의 긴 이야기 (AOP 경로) 를 완성합니다.
4. AI 가 답변합니다 (생성 단계):
   • 이제 AI 는 **완성된 레고 구조 (정확한 지식)**를 눈앞에 두고 답변을 작성합니다.
   • "제 기억이 아니라, 여기 있는 이 책 (사실) 에 따르면..."이라고 정확한 답을 내놓습니다.

📊 3. 실험 결과: "비서가 없으면 15 점, 있으면 95 점!"

연구진은 20 가지 어려운 독성학 질문을 AI 에게 던져보았습니다.

• 비서 없이 (기존 AI):
  • AI 가 혼자 기억만 믿고 답했을 때, 정답률은 **15% ~ 35%**에 불과했습니다. 대부분의 경우 엉뚱한 이야기를 지어냈습니다.
• 비서와 함께 (AOP-Smart 사용):
  • AOP-Smart 가 정확한 책을 찾아서 AI 에게 건네주자, 정답률이 **95% ~ 100%**로 폭등했습니다!
  • 특히 "A 와 B 를 연결하는 복잡한 경로"를 찾는 질문에서도 AI 가 거의 실수하지 않게 되었습니다.

💡 4. 요약: 왜 이것이 중요한가요?

이 연구는 **"AI 가 무조건 똑똑한 게 아니라, 정확한 사실을 바탕으로 말할 때 비로소 신뢰할 수 있다"**는 것을 보여줍니다.

• 기존: AI 는 "내 생각엔..."이라고 말하며 헛소리를 할 수 있음.
• AOP-Smart: AI 는 "AOP-Wiki 라는 공식 자료에 따르면..."이라고 증거를 들어 말함.

이 방법은 독성학 연구뿐만 아니라, 의료, 법률, 과학처럼 '사실'이 생명을 좌우하는 분야에서 AI 를 안전하게 쓸 수 있는 길을 열어줍니다. 마치 전문가에게 항상 최신 교과서를 옆에 두고 상담하게 해주는 것과 같습니다.

🔮 5. 앞으로의 과제

물론 완벽하지는 않습니다.

• 아직 책의 '중요도'나 '신뢰도'까지 세심하게 고려하지는 못했습니다.
• 질문의 종류가 아직 다양하지는 않습니다.

하지만 이 시스템은 AI 가 환각 (Hallucination) 이라는 병에서 벗어나, 사실 기반의 신뢰할 수 있는 전문가로 거듭날 수 있는 첫걸음입니다.

기술 요약

제공된 논문 "AOP-Smart: A RAG-Enhanced Large Language Model Framework for Adverse Outcome Pathway Analysis"에 대한 상세 기술 요약은 다음과 같습니다.

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 유해 결과 경로 (Adverse Outcome Pathways, AOPs) 는 분자 유발 사건 (MIE) 에서부터 유해 결과 (AO) 까지의 인과 관계를 설명하는 독성학 및 위험 평가의 핵심 지식 프레임워크입니다. AOP-Wiki 의 데이터가 방대해짐에 따라 연구자들이 정보를 검색하고 통합하는 것이 어려워졌습니다.
• 문제: 최근 대규모 언어 모델 (LLM) 이 AOP 관련 질문 응답 및 기전 추론에 적용되고 있지만, 할루시네이션 (Hallucination) 문제가 심각한 한계로 작용합니다. LLM 은 훈련 데이터의 범위를 벗어나거나 전문적인 도메인 지식을 다룰 때 사실과 다른 내용을 유창하게 생성하여 과학적 신뢰성을 떨어뜨립니다.
• 기존 접근법의 한계: 기존의 검색 증강 생성 (RAG) 방법들은 주로 벡터 데이터베이스와 의미적 유사성에 기반하여 개방형 도메인에 적용되지만, AOP 와 같이 계층적 구조, 인과 관계, 네트워크 특성을 가진 복잡한 지식에는 최적화되지 않았습니다.

2. 제안된 방법론: AOP-Smart (Methodology)

이 연구는 AOP-Wiki 의 공식 XML 데이터를 기반으로 한 AOP-Smart라는 RAG 프레임워크를 제안합니다.

• 데이터 소스 및 전처리:

  • AOP-Wiki 의 안정된 XML 스냅샷 (2026-01-01 기준) 을 사용하여 재현 가능한 실험 환경을 구축했습니다.
  • XML 데이터를 파싱하여 두 가지 구조화된 리소스를 생성했습니다:
    1. Index.txt: 모든 핵심 사건 (Key Events, KEs) 의 ID 와 제목을 저장한 경량 인덱스 (약 2 만 토큰).
    2. AOP-Smart.json: KE, 핵심 사건 관계 (KERs), 그리고 전체 AOP 구조에 대한 상세한 구조화 정보.

• 동작 프로세스:

  1. 초기 검색 (Top-N KE Selection): 사용자의 질문과 Index.txt 를 LLM 에 입력하여 프롬프트 엔지니어링을 통해 가장 관련성이 높은 Top-N 개의 KE ID 를 선별합니다.
  2. 지식 확장 (Knowledge Expansion):
     • KE 확장: 선별된 KE 의 직접적인 상류 (Upstream) 및 하류 (Downstream) KE IDs 를 추출하여 KE 집합을 확장합니다.
     • KER 재구성: 확장된 KE 집합 내의 두 사건을 연결하는 모든 KER(인과 관계) 를 추출합니다.
     • AOP 매칭: 확장된 KE 집합과 매칭되는 MIE, KE, AO 를 포함하는 전체 AOP 체인을 검색하여 추가합니다. (노이즈 감소를 위해 최소 2 개 이상의 매칭이 필요하도록 설정)
  3. 생성 (Generation): 확장된 KE, KER, AOP 정보를 구조화된 컨텍스트로 구성하여 사용자의 질문과 함께 LLM 에 입력하고, 이를 기반으로 사실에 기반한 답변을 생성합니다.

• 시스템 구현: Python 기반의 소프트웨어로 구현되었으며, 모델 엔드포인트, API 키, Top-N 파라미터 (검색 범위 조절), Temperature 등을 조정할 수 있는 인터페이스를 제공합니다.

3. 주요 기여 (Key Contributions)

1. AOP 도메인 특화 RAG 프레임워크 제안: LLM 의 추론 과정에 AOP 지식 (계층적 구조 및 인과 관계) 을 통합하여 도메인 특화 문제를 해결했습니다.
2. KE 기반 지식 확장 전략: 질문과 관련된 KE 를 중심으로 상/하류 사건, KER, 그리고 전체 AOP 체인을 자동으로 연결하여 확장하는 메커니즘을 설계했습니다. 이는 단순한 텍스트 검색을 넘어 구조적 맥락을 제공합니다.
3. 할루시네이션 완화 및 정확도 향상 검증: 다양한 LLM(Gemini, DeepSeek, ChatGPT) 을 대상으로 한 비교 실험을 통해 제안된 방법의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 실험 설정: 20 개의 AOP 관련 질문 (KE 식별, 상/하류 KE 검색, 복잡한 AOP 쿼리 등 4 가지 유형) 으로 구성된 테스트 세트를 사용했습니다.
• 성능 비교:
  • RAG 미적용 시: 세 모델 (GPT, DeepSeek, Gemini) 의 평균 정확도는 각각 15.0%, 35.0%, 20.0% 로 매우 낮았습니다.
  • RAG 적용 시 (AOP-Smart):
    • DeepSeek: 35.0% → 100.0%
    • Gemini: 20.0% → 95.0%
    • GPT: 15.0% → 95.0%
• 분석: 단순 정보 검색뿐만 아니라 복잡한 다단계 (Multi-hop) 구조적 관계 추론에서도 RAG 적용 시 정확도가 극적으로 향상되었습니다. 특히 할루시네이션이 발생하기 쉬운 전문 도메인 지식에서 모델의 신뢰성이 크게 개선되었습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 독성학 및 화학 위험 평가 분야에서 LLM 의 실용성을 크게 높였습니다.
  • 비정형 텍스트가 아닌 구조화된 지식 (AOP) 을 효과적으로 활용하는 RAG 설계의 새로운 방향성을 제시했습니다.
  • 과학적 연구에서 모델의 신뢰성과 해석 가능성을 높여, 실제 의사결정 지원 도구로서의 가능성을 열었습니다.
• 한계 및 향후 과제:
  • 현재는 증거 수준 (Evidence level) 이나 신뢰도 (Confidence) 정보를 고려하지 않아 가중치 처리가 불가능합니다.
  • LLM 의 입력 길이 제한으로 인해 일부 문맥 정보가 손실될 수 있습니다.
  • 평가 데이터셋 (20 개 질문) 이 작아 다양한 시나리오를 포괄하기에는 부족합니다.
  • 향후 더 큰 규모의 벤치마크 구축, 증거 기반 가중 모델링, 그리고 과학 문헌에서의 자동 정보 추출 및 AOP 지식 그래프 완성 등으로 연구를 확장할 계획입니다.

결론적으로, AOP-Smart 는 LLM 의 할루시네이션 문제를 구조화된 도메인 지식 검색을 통해 해결한 성공적인 사례로, 전문 과학 지식 기반의 AI 응용 분야에서 중요한 진전을 이룬 연구입니다.