Using a Human-AI Teaming Approach to Create and Curate Scientific Datasets with the SCILIRE System

논문 요약: SCILIRE 시스템을 통한 과학적 데이터셋 생성 및 큐레이션을 위한 인간-AI 팀워크 접근법

1. 문제 정의 (Problem)

과학 문헌의 폭발적인 증가로 인해 연구자들이 최신 개발 동향을 파악하는 것이 어려워졌으며, 비구조화된 과학 문헌에서 구조화된 지식을 수동으로 추출하는 것은 비현실적이 되었습니다.

• 기존 도구의 한계: Elicit, SciSpace 와 같은 기존 AI 기반 도구들은 대부분 '단일 통과 (single-pass)' 방식으로 작동합니다. 즉, AI 가 한 번에 결과를 생성하면 사용자는 이를 외부에서 수동으로 수정해야 합니다.
• 신뢰성 문제: 대규모 언어 모델 (LLM) 은 환각 (hallucination) 이나 사실과 다른 정보를 생성할 가능성이 있으며, 이를 검증하고 수정하는 과정이 번거롭고 시간이 많이 소요됩니다.
• 대규모 데이터 처리의 어려움: 연구 워크플로우에서 높은 정확도가 요구될 때, AI 의 오류를 인간이 일일이 검증하는 과정은 확장성 (scalability) 이 부족합니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 SCILIRE라는 시스템을 제안했습니다. 이는 인간-AI 팀워크 (Human-AI Teaming, HAT) 원칙에 기반하여 설계된 시스템으로, 데이터 추출과 큐레이션을 반복적이고 상호작용적인 워크플로우로 통합합니다.

핵심 구성 요소 및 워크플로우:

1. 문서 전처리 (Document Preprocessing):

   • PDF 유형을 분석하여 텍스트 추출 (GROBID, Apache Tika) 을 수행합니다.
   • 스캔된 이미지 PDF 의 경우 OCRmyPDF 를 사용하여 텍스트화합니다.
   • 표 (Table) 와 그림 (Figure) 을 감지하고 구조를 인식하여 마크다운 형식으로 변환하는 전용 모듈을 포함합니다.
   • 긴 문서는 LLM 의 컨텍스트 윈도우 제한을 고려하여 중첩된 슬라이딩 윈도우로 분할 (Chunking) 합니다.

2. 레코드 생성 모듈 (Record Generation):

   • 사용자가 정의한 스키마 (열 헤더 등) 를 기반으로 LLM 을 사용하여 구조화된 JSON 레코드를 생성합니다.
   • 동적 샘플링 (Dynamic Sampling) 을 통한 ICL: 기존 도구가 고정된 예시 (Static ICL) 를 사용하는 것과 달리, SCILIRE 는 사용자가 검증하고 수정한 이전 데이터 풀에서 가장 유사한 문서를 동적으로 선택하여 1-shot ICL (In-Context Learning) 예시로 사용합니다. 이는 추출 정확도를 높이는 핵심 기술입니다.
   • GROBID 와 Tika 파이프라인에서 생성된 두 가지 결과 세트를 헝가리안 알고리즘 (Hungarian algorithm) 을 사용하여 정렬 및 병합합니다.

3. 검증 지원 모듈 (Verification Support):

   • 출처 추적 (Provenance Checking): 생성된 각 셀의 내용이 원문과 얼마나 일치하는지 퍼지 문자 매칭 (fuzzy string matching) 을 통해 시각화하여 환각을 식별합니다.
   • 온디맨드 설명: AI 답변의 근거가 되는 원문 단락을 BM25 검색을 통해 찾아주고 강조 표시하여 사용자가 검증할 수 있도록 돕습니다.

4. 반복적 워크플로우 (Iterative Workflow):

   • 파일럿 단계: 소수의 문서 (≤10 개) 를 샘플링하여 AI 가 생성한 결과를 인간이 검증하고 수정합니다. 이 수정된 데이터는 다음 배치의 동적 샘플링 예시로 사용됩니다.
   • 배치 단계: 파일럿 단계를 통해 모델이 학습된 후, 나머지 대량의 문서를 처리하여 최종 데이터셋을 생성합니다.

3. 주요 기여 (Key Contributions)

1. HAT-DC 워크플로우 평가: 인간-AI 팀워크를 통한 데이터 큐레이션 (HAT-DC) 이 단일 AI 자동화보다 효율적이고 정확함을 입증했습니다.
2. 동적 샘플링의 효과성 입증: 고정된 예시 대신 사용자의 수정 이력을 기반으로 동적으로 예시를 선택하는 방식이 추출 성능을 크게 향상시킨다는 것을 실험을 통해 증명했습니다.
3. SCILIRE 시스템 개발: 대규모 과학 문헌에서 구조화된 데이터셋을 생성할 수 있는 모듈형 프레임워크를 구축하고, 다양한 과학 분야 (재료과학, 화학, 의학 등) 에서의 적용 가능성을 보여주었습니다.

4. 실험 결과 (Results)

저자들은 5 개의 과학 분야 (머신러닝, 재료과학, 화학, 의학, 물리학) 에 걸쳐 18 개의 공개 데이터셋을 사용하여 시스템을 평가했습니다.

• 성능 비교 (RQ1):
  • 제로샷 (Zero-shot) 방식에 비해 동적 샘플링을 활용한 ICL 방식이 모든 데이터셋에서 F1 점수를 크게 향상시켰습니다.
  • 특히 수정된 예시 풀 (n=100) 을 사용할 때 최적의 성능을 보였으며, 그 이상으로 풀이 커지면 중복성으로 인해 성능 향상이 정체되거나 감소하는 경향을 보였습니다.
• 상업적 도구 비교 (RQ2):
  • Elicit 및 SciSpace 와 같은 기존 상용 도구와 비교했을 때, SCILIRE 는 동적 샘플링 기능 덕분에 모든 데이터셋에서 일관되게 높은 F1 점수를 기록했습니다. (예: PPE 데이터셋에서 SCILIRE 는 62.69 점, Elicit 는 12.61 점 등).
• 사용자 사례 연구 (Case Studies):
  • 농업, 환경 연구, 생화학, 의료 제조 등 4 가지 실제 사례 연구에서 사용자는 초기 파일럿 단계 (제로샷) 에 비해 동적 샘플링 (ICL) 단계에서 수정 횟수와 검증 시간이 크게 감소함을 확인했습니다.
  • 사용자는 AI 가 생성한 결과를 처음부터 수동으로 채우는 것보다, AI 가 미리 채워진 값을 검증하고 수정하는 방식이 훨씬 효율적이라고 평가했습니다.

5. 의의 및 결론 (Significance)

• 확장성 및 효율성: SCILIRE 는 수천 개의 문서를 처리해야 하는 대규모 데이터셋 생성 작업을 단일 연구자가 수행할 수 있게 하여, 기존에는 팀 단위로만 가능했던 작업을 개인이 처리할 수 있는 수준으로 낮췄습니다.
• 신뢰할 수 있는 AI 워크플로우: AI 의 환각을 단순히 방치하지 않고, 인간의 전문적 판단을 통해 검증하고 이를 다시 모델 학습에 피드백하는 '인간-AI 팀워크' 모델을 성공적으로 구현했습니다.
• 과학적 발견 가속화: 신뢰할 수 있는 구조화된 데이터셋을 빠르게 생성함으로써, 'AI for Science (AI4S)' 분야의 연구 속도와 질을 높이는 데 기여할 것으로 기대됩니다.

이 논문은 단순한 자동화 도구를 넘어, 인간의 검증과 AI 의 처리 능력을 상호 보완적으로 결합하여 과학적 지식 추출의 새로운 표준을 제시한다는 점에서 중요한 의의를 가집니다.