How much of an LLM-generated clinical corpus is actually new? A production-scale measurement of content redundancy for provenance classification

기술 요약: "LLM이 생성한 임상 코퍼스의 실제 정보량은 얼마나 되는가?"

문제 정의
임상 머신러닝은 점차 임상의에 의해 수동으로 주석이 달린 데이터보다는 대규모 언어 모델(LLM)에 의해 생성된 학습 코퍼스에 의존하고 있다. 이러한 합성 코퍼스는 일반적으로 보고된 규모(예: 총 토큰 수 또는 추출된 항목 수)를 기준으로 설명되고, 공유되며, 소비된다. 그러나 이러한 관행은 볼륨이 곧 정보량을 의미한다는 가정을 전제로 한다. 저자들은 일관된 추출 규칙을 반복적인 임상 텍스트에 적용하여 생성된 합성 코퍼스가 상당한 중복을 포함할 수 있으며, 이로 인해 겉으로 보이는 코퍼스의 크기가 그 안에 담긴 고유한 정보량을 크게 상회할 수 있다고 주장한다. 이러한 팽창은 학습 비용을 추정하는 방식에 영향을 미칠 뿐만 아니라, 결정적으로 임상적 용도로 사용될 데이터의 분포를 해석하는 방식에 영향을 미친다. 본 연구 이전에는 멀티 태스크 임상 LLM 출력의 정보량이 실제 규모(production scale)에서 원시 크기(raw size)와 비교하여 측정된 적이 없었다.

방법론
본 연구는 PMC-Patients 코퍼스에서 추출한 167,034개의 환자 내러티브에 적용된 멀티 에이전트 임상 추출 파이프라인의 전체 출력을 분석한다. 이 파이프라인은 생성 모델(Llama-3.3-70B)과 검증 모델(MMed-Llama-3.1-70B)을 활용하여 11개의 태스크 채널(그 중 10개는 자유 텍스트 형태)에 걸쳐 구조화된 출력을 생성한다.

핵심 방법론은 모든 출력 토큰을 다섯 가지 출처(provenance) 범주로 분류하는 토큰 수준 분류 시스템인 **출처 기반 중복 분해(Provenance-based Redundancy Decomposition, PRD)**이다. 분류 범주는 다음과 같다:

1. 고유 소스 텍스트(Unique source text): 중복 제거된 환자 내러티브.
2. 고유 생성 콘텐츠(Unique generated content): 단 한 번만 나타나는 모델 생성 텍스트.
3. 중복 생성 콘텐츠(Duplicated generated content): 여러 레코드에서 반복되는 모델 생성 텍스트.
4. 복사된 컨텍스트(Copied context): 항목별 컨텍스트 필드 내에 그대로 재현된 소스 내러티브.
5. 스캐폴드(Scaffold): 구조적 메타데이터(식별자, 오프셋, 열거된 값).

이러한 발견을 출처 레이블과 독립적으로 검증하기 위해, 저자들은 네 가지 별도의 토큰 스트림(전체 코퍼스, 학습 가능한 고유 부분집합, 복사된 컨텍스트 스트림, 중복 생성 스트림)에 무손실 압축(gzip, bzip2, LZMA, PPMD 사용)을 적용하였다.

마지막으로, 저자들은 중복이 모델 성능에 미치는 영향을 측정하기 위해 다운스트림 통제 실험을 수행하였다. 저자들은 동일한 토큰 예산 하에서 세 가지 버전의 코퍼스(raw, de-duplicated, context-removed)를 사용하여 임상 인코더(BioClinical ModernBERT)를 적응(adaptation)시켰다. 적응된 인코더들은 선형 프로브(linear probe)를 통해 두 개의 외부 인간 주석 질병 인식 벤치마크(NCBI-Disease 및 BC5CDR-Disease)로 평가되었다.

주요 기여

1. 생산 규모의 측정: 본 논문은 멀티 태스크 임상 LLM 코퍼스에서 겉보기 정보량과 실제 정보량 사이의 격차를 측정한 첫 번째 연구로서, 원시 토큰 수가 실제 콘텐츠를 약 9배 과장할 수 있음을 입증하였다.
2. 메커니즘 식별: 두 가지 구조적으로 구별되는 중복 메커니즘을 식별하고 각각의 양을 정량화하였다:
   • 컨텍스트 복사 중복(Context-copy redundancy): 소스 내러티브가 항목별 필드 내에 그대로 복사됨 (무손실 제거 가능).
   • 생성 중복(Generation-duplication redundancy): 모델의 정규성으로 인해 레코드 간에 생성된 텍스트가 반복됨 (콘텐츠의 중복 제거 필요).
3. 보고 표준 및 도구: 저자들은 합성 임상 코퍼스를 위한 간결한 보고 표준을 제안하며, **학습 가능 고유 비율(Trainable-Unique Ratio, TUR)**과 **컨텍스트 복사 비율(Context-Copy Ratio, CCR)**을 도입하였다. 또한, 어떤 멀리 태스크 추출 파이프라인에서도 이러한 지표를 계산할 수 있는 오픈 소스 도구로서 PRD를 구현하여 공개하였다.

결과

• 중복 규모: 생성된 25.1억 개의 토큰 중 10.9%(2억 7,260만 개)만이 학습 가능한 고유 콘텐츠를 구성한다. 79.4%는 중복이며, 9.7%는 스캐폴드이다. 중복된 콘텐츠는 고유 소스 텍스트보다 19.1배 더 크다.
• 메커니즘 분포:
  • 컨텍스트 복사 중복은 질문 답변 및 추론(QAR) 채널과 관계 추출(RE) 채널에서 지배적으로 나타나며, 각각의 토큰 중 81.0%와 80.0%를 차지한다.
  • 생성 중복은 Risk-QA, Recommendations, 그리고 Risks 채널에서 지배적이다.
  • Summary(요약) 채널은 내부 대조군 역할을 하며, 중복이 거의 나타나지 않았다(복사된 컨텍스트 0%, 중복 0.0005%). 이는 중복이 모델 자체의 고유한 특성이 아니라 채널 설계의 함수임을 증명한다.
• 비용 구조:
  • 저장(Storage): 복사된 컨텍스트는 약 10GB의 텍스트 풋프린트 중 약 7.5GB를 차지한다. 이를 환자당 한 번씩만 참조하도록 재직렬화하면 정보 손실 없이 약 2.5GB로 줄일 수 있다.
  • 컴퓨팅(Compute): 자유 텍스트 생성 컴퓨팅의 64%(2억 9,830만 토큰)가 이미 생성된 문자열을 다시 방출하는 데 소비되었다. 이 비용은 회수 불가능하다.
  • 처리(Processing): 원시 코퍼스로 학습할 경우 고유 부분집합에 비해 9.2배의 처리 배수가 발생한다.
• 다운스트래닝 영향: 동일한 토کن 예산 하에서, 중복이 제거된 코퍼스로 학습된 인코더가 원시 코퍼스로 학습된 인코더보다 외부 벤치마크(예: NCBI-Disease에서 F1 +0.029)에서 더 우수한 성능을 보였다. 이러한 개선은 적응 깊이(adaptation depth) 전반에 걸쳐 일관되게 나타났으며, BC5CDR-Disease에서도 재현되었다.
  • "컨텍스트 제거(context-removed)" 절제 실험(복사된 컨텍스트만 제거) 결과, 대부분의 이득이 회복되었는데, 이는 무손실 제거 가능한 구성 요소가 다운스트림 비용의 대부분을 주도함을 시사한다.
  • 중복이 희귀 질병 인식에 불균형하게 해를 끼칠 것이라는 가설과 달리, 중복 제거에 따른 희귀 질병 특이적 이득은 관찰되지 않았다. 이득은 전반적으로 일관되었으며 흔한 질병에 집중되었다.

의의 및 주장
본 논문은 합성 임상 코퍼스의 볼륨이 정보량의 좋은 대리 지표가 아님을 주장한다. 이 연구 결과는 임상 AI의 재현성과 공정성에 직접적인 시사점을 준다:

• 보고의 무결성: 코퍼스를 원시 토큰 수(예: "25.1억 개 토큰")로 기술하는 것은 그 정보적 풍부함을 오도한다. 저자들은 원시 크기와 함께 고유 콘텐츠 크기를 함께 보고할 것을 권장한다.
• 학습 효율성: 교정되지 않은 중복은 길고 복잡한 제시 방식을 가중시켜 토큰 수준의 학습 분포를 왜곡한다. 학습 전 중복을 제거하는 것은 추가적인 데이터 없이도 모델 성능을 향상시키는 저비용 고효효율의 단계이다.
• 품질 관리: 중복은 레코드 단위에서는 보이지 않지만(각 레코드는 잘 형성되어 있음) 집계 시에만 드러나므로, 출처 분류는 합성 데이터를 위한 루틴한 품질 관리 단계가 되어야 한다.
• 설계 시사점: 채널 간(예: Summary vs QAR) 중복의 차이는 중복이 LLM 추출의 필연적인 속성이 아니라, 특히 하나의 채널이 환자당 많은 컨텍스트 함유 항목을 방출하는지 여부와 같은 파이프라인 설계의 결과임을 보여준다.

저자들은 합성 임상 코퍼스가 이러한 규모의 데이터를 위해 실질적인 필수 요소이지만, 임상 머신러닝의 공정하고 효과적인 사용을 보장하기 위해서는 그 정보량을 정직하게 측정하고 기술해야 한다고 결론짓는다.