기술 요약: 재현 가능한 데이터 추출을 위한 셀프 프롬프팅 및 교차 모델 합의

문제 정의

비정형 과학 문헌에서 미묘하고 맥락화된 데이터를 정확하게 추출하는 과정은 노동 집약적이며, 인간의 오류, 계산 착오, 연구의 미묘한 차이에 대한 오해를 초래하기 쉽다. 대규모 언어 모델(LLM)은 자동화를 위한 잠재력을 제공하지만, 효과적인 배포를 위한 보편적 원칙은 아직 충분히 발전하지 않았다. 브라우저 기반 인터페이스(고립된 API 호출과 대조되는)를 통해 접근하는 프런티어 LLM은 숨겨진 지침, 검색 메커니즘, 그리고 모델의 동작을 변화시키는 중재 도구를 포함하는 경우가 많으므로, 이를 효과적으로 활용하는 방법에 대한 이해에 중요한 격차가 존재한다. 또한, 기존의 벤치마크는 실행 간의 재현성, 자율적인 문헌 발견의 신뢰성, 그리고 인간 전문가들 사이에서도 의견이 갈릴 수 있는 상세한 보고 가이드라인을 적용할 때 발생하는 구체적인 과제를 다루지 못하는 경우가 많다.

방법론

저자들은 7개의 프런티어 LLM(GPT-5.5, Opus 4.7/4.8, Gemini 3.1 Pro, Qwen3.7, Kimi K2.6, GLM-5.1/5.2, DeepSeek v4)의 자율성과 신뢰성을 테스트하기 위해 설계된 네 단계의 점진적 워크플로우를 평가하였다. 본 연구는 두 가지 주요 사례 연구를 활용하였다:

1. 심장 트로포닌 C 친화도 추출 (그라운드 트루스 벤치마크):

   • 코퍼스(Corpus): Niederer et al. (2006)에 요약된 18개의 일차 연구 논문(1980년대까지 거슬러 올라감)을 포함하며, 39개의 실험 조건이 포함됨.
   • 작업: 7가지 특정 데이터 포인트 추출: 종(species), 온도, 트로포닌 준비물, 측정 방법, 마그네슘 농도, 그리고 친화도 상수($K_d$ 및 $K$).
   • 테스트된 워크플로우:
     1. 전문가 큐레이션 프롬프트: 모델은 고정된 인간 설계 프롬프트와 논문을 제공받았다. 일관성을 평가하기 위해 각 모델당 5회 반복 추출을 수행했다.
     2. 셀프 작성 프롬프트: 모델은 프롬프트 엔지니어링 관행과 도메인 용어를 연구하여 세 개의 후보 프롬프트를 생성하도록 지시받았으며, 이들은 하나의 "마스터 프롬프트"로 통합되었다. 이 마스터 프롬프트는 동일한 코퍼스를 대상으로 테스트되었다.
     3. 자율적 심층 연구: 모델은 인간이 제공한 출처 없이 독립적으로 일차 문헌(2005년 이전 논문 최대 20개)을 찾아내고 데이터를 추출하도록 과업을 부여받았다.
     4. 교차 도메인 데이터셋 생성: 오가노이드 보고에 관한 Sandoval et al. (2024)의 가이드라인을 사용하여, 모델은 10개의 뇌 오가노이드 논문으로부터 보고 기준을 추출하기 위한 마스터 프롬프트를 생성했다. 이 출력값은 두 명의 박사급 인간 검토자의 평가와 비교되었다.

2. 평가 지표:

   • 정확도(Accuracy): 수정된 그라운드 트루스 데이터셋과의 비교.
   • 일관성(Consistency): 5회의 독립적인 실행 간 분산 분석 (측정 기준: "항상 정답", "계통적 오류", "무작위 오류").
   • 환각 탐지(Hallucination Detection): 인용된 참고 문헌의 존재 여부 및 정확성 검증.
   • 인간 합의(Human Agreement): 모델 출력값과 인간 전문가 합의 간의 일치도 측정.

주요 결과

1. 전문가 큐레이션 프롬프트 및 모델 성능

• 가이드 기반의 높은 정확도: 전문가 프롬프트와 고정된 논문이 제공되었을 때, 프런티어 LLM은 높은 정확도를 달야냈다. 상위 3개 모델(GPT-5.5, Opus 4.7, Gemini 3.1 Pro)은 5회 실행 평균 **92.6%**의 정확도를 기록했다. GPT-5.5는 **95.7%**에 도달했다.
• 수치적 vs 맥락적 데이터: 모델은 수치적 값($K$ 및 $K_d$는 약 99% 정확도 도달) 추출에는 매우 정확했으나, 특정 생물학적 준비물 식별과 같이 더 깊은 추론이 필요한 맥락적 필드에서는 어려움을 겪었다(80.7% 정확도).
• 실행 간 변동성: 단일 실행만으로는 모델의 능력을 대표하기에 불충분했다. 모든 모델에 걸쳐 5회 실행 모두에서 올바른 파라미터는 76.4%에 불과했다. 상위 모델들은 5회 실행 모두에서 87.7%의 일관성을 달성한 반면, 다른 모델들은 67.9%를 기록했다.
• 오류 탐지: 여러 LLM 실행의 합의를 통해 원래의 그라운드 트루스 데이터셋에 포함된 오류(잘못된 변환 계수 및 온도 연관성 포함)를 성공적으로 식별하였다.

2. 셀프 작성 프롬프트

• 프롬프트 생성: 모델은 개별 후보 프롬프트를 개선하는 마스터 프롬프트를 생성할 수 있었다. 그러나 이러한 셀프 작성 프롬프트는 인간 전문가가 큐레이션한 프롬프트의 성능에 미치지 못했다.
• 성능 저하: 셀프 작성 마스터 프치프트를 사용했을 때 전체적인 정확도가 하락했다 (예: GPT-5.5는 95.6%에서 90.3%로 하락). 이러한 하락은 실험 측정 방법을 해석하는 데서 가장 두드러졌다.
• 약한 상관관계: 루브릭에 따라 점수를 매긴 셀프 작성 프롬프트의 품질은 추출 정확도를 강력하게 예측하지 못했다.

3. 자율적 심층 연구

• 문헌 발견 실패: 자율 에이전트들은 올바른 일차 문헌을 찾는 데 어려움을 겪었다. 가장 우수한 성능을 보인 에이전트(Opus 4.8)조차 그라운드 트루스 참조 문헌의 **53.7%**만을 복구했다.
• 환각(Hallucinations): 두 에이전트(Qwen3.7-Plus 및 GLM-5.2)는 환각된 인용을 생성했다 (고유 인용 건수 대비 각각 45% 및 29%). 다른 에이전트들은 환각을 생성하지는 않았으나, 목표 문헌의 상당 부분을 놓쳤다.
• 추출 품질: 이러한 자율 보고서로부터 데이터를 추출했을 때, 그라운드 트루스 대비 전체 정확도는 낮았다 (34~39%). 다만, 복구된 수치적 친화도 값은 종종 실제 값의 2배 이내 범위 안에 있었다.

4. 교차 모델 합의 및 인간 참여형(Human-in-the-Loop)

• 인간의 불일치: 오가노이드 보고 벤치마크에서 인간 검토자들은 평가의 20.9%에서 의견이 불일치하였으며, 이는 "그라운드 트루스"가 항상 이분법적이지 않음을 강조한다.
• 필터로서의 모델 합의:
  • 모델을 5회 실행했을 때, 만장일치(5-0) 합의는 인간의 합의와 93.2% 일치했다.
  • 4-1로 갈릴 경우 일치도는 65.0%로 떨어졌고, 3-2로 갈릴 경우 55.2%로 떨어졌다.
  • 교차 모델 투표: 서로 다른 모델들의 결과를 집계(다수결 투표)하는 것이 동일한 모델을 5회 반복하는 것(89.2%)보다 인간 검토자와 더 높은 일치도(5개 모델 사용 시 93.3%)를 보였다.
• 재현성: GPT-5.5가 가장 재현성이 높은 모델(92.6% 일관성)이었던 반면, Gemini 3.1 Pro는 가장 낮았으나(81.7%), Gemini의 다수결 투표 역시 인간과 잘 일치했다.

의의 및 주장

본 논문은 전문적인 감독과 자동화의 균형을 맞추는, 과학적 데이터 큐레이션을 위한 **감사 가능한 분업(auditable division of labor)**을 정의한다고 주장한다. 저자들은 다음과 같이 단언한다:

1. 재현성에는 합의가 필요하다: 단일 LLM 실행은 신뢰할 수 없다. 재현 가능한 추출을 위해서는 프롬프트를 여러 번 실행하고, 불확실한 사례를 식 flag 하기 위해 교차 모델 합의를 활용해야 한다.
2. 미묘한 차이를 위해서는 인간의 참여가 필수적이다: LLM은 전문가 프롬프트가 제공될 때 고정된 추출 작업은 수행할 수 있으나, 인간의 가이드 없이는 자율적인 문헌 발견이나 복잡한 과학적 맥락을 해석하는 데 어려움을 겪는다.
3. 실용적 프레임워크: 본 연구는 전문가가 증거 표준과 출처를 정의하고, 모델이 반복적인 추출을 수행하여 결과를 상호 검증하며, 인간 연구자가 분쟁이 있거나 합의가 낮은 사례를 해결하는 실용적인 워크플로우를 제공한다.
4. 인터페이스가 중요하다: 본 연구는 브라우저 기반 상호작작용이 API 호출과 크게 다르며, 성능이 인터페이스 업데이트 및 컴퓨팅 할당에 따라 달라질 수 있음을 강조하며, 사용 환경에서의 신중한 벤치마킹이 필요함을 보여준다.

저자들은 이 접근 방식이 전문적인 감독을 포기하지 않으면서도 과학적 데이터 큐레이팅을 확장할 수 있는 실질적인 경로를 제공하며, 이를 통해 투명성과 감사 가능성을 유지하면서 고품질의 데이터셋을 구축할 수 있다고 결론짓는다.