A Registry-Bound LLM Pipeline for Evidence-Grounded Trait Extraction across Tropical Plants, Aquatic Species, and Exotic Pets

기술 요약: 증거 기반 특성 추출을 위한 레지스트리 결합형 LLM 파이프라인

문제 정의
구조화된 종의 특성(예: 내광성, 독성, 번식 방법 등)은 생태적 지위 모델링부터 규제 준수에 이르는 다양한 다운스트림 애플리케이션에 필수적이다. 그러나 약 410,000종의 재배 열대 식물, 수생 생물, 외래 반려동물을 다루는 '열대 종 백과사전(Tropical Species Encyclopedia)'과 같이 광범위하고 도메인을 넘나드는 대규모 데이터셋을 수동 큐레이션으로 처리하는 것은 불가능하다. 대규모 언어 모델(LLM)이 이를 확장할 수 있는 경로를 제시하지만, 환각 현상(hallucinated values), 근거 제시 부족, 레지스트리 외 어휘(OOV) 오류, 그리고 보정되지 않은 신뢰도와 같은 심각한 신뢰 문제를 야기한다. 더욱이 기질(substrate) 텍스트 자체가 LLM에 의해 생성되었으므로(Hop 1), 추출 과정(Hop 2)은 안전이 중요한 데이터(예: 독성, CITES 상태)가 검증 없이 권위 있는 사실로 발표되지 않도록 엄격하게 감사 가능해야 하는 2단계(two-hop) 파이프라인을 형성한다.

방법론: 레지스트리 결합형 프레임워크
본 논문은 LLM 기반의 특성 추출을 규모 있게 운영하면서도 감사 가능하게 만들기 위해 4가지 메커니즘 프레임워크를 제안한다. 이 파이프라인은 각 종의 기록에 7개의 정형화된 중국어 바이오 섹션(형태, 분포 등)을 포함하는 '열대 종 백과사전' 기질을 처리한다.

1. 버전 관리된 폐쇄형 어휘 레지스트리: 엄격한 스키마를 통해 4개 도메인(보편, 식물, 수생, 반려동물)에 걸친 39개 특성 키와 5가지 값 유형(text, enum, multi_enum, int, range)을 정의한다. 승인된 모든 값은 이 타입 스키마를 준수해야 한다. 4개의 키는 '레드 존(red-zone)'으로 분류되어 안전이 중요한 정보(인간/반려동물 독성, 물리적 위험, CITES 상태)를 다룬다.
2. 행 단위의 축자적 증거 인용(Verbatim Evidence Quotes): LLM은 반드시 소스 바이오 섹션 텍스트 내에 정확한 부분 문자열로 존재하는 evidence_quote를 추출해야 한다. 이는 모델이 증거를 조작하는 것을 방지한다.
3. 모델 할당 신뢰도 라벨: 모델은 신뢰 수준(High, Medium, Low)을 할당한다. 신뢰도가 낮은 후보는 null 반환으로 처리되어 폐기되며, High 및 Medium 신뢰도를 가진 행만 유지된다.
4. 다중 버전 보존: 시스템은 모든 추출 실행을 (species_id, trait_key, model_version)의 고유 키 아래에 보존한다. 이를 통해 이전 추출 값을 덮어쓰지 않고도 교차 모델 이력 및 편차 분석이 가능하다.

추출 파이프라인 및 필터링
파이프라인은 OpenAI 호환 API를 통해 mimo-v2.5 모델을 활용한다. 프로세스는 후보 셀에 대해 세 가지 뚜렷한 결과 경로를 거친다.

• 승인(Admission): 부분 문자열 검증(증거 인용구가 소스에 존재함)과 레지스트리 부합성(키 및 값이 유효함) 필터를 모두 통과한다.
• 거부(Rejection):
  • 부분 문자열/증거 미지원: 인용구가 소스 텍스트에 축자적으로 존재하지 않음 (후보의 9.46%).
  • 레지스트리 OOV/Enum: 키 또는 값이 폐쇄형 어휘 또는 타입 범위를 위반함 (후보의 0.09%).
• 기권(Abstention): 모델이 주장을 뒷받침할 수 없을 때 추측하는 대신 명시적으로 null을 반환한다. 이는 실패가 아닌 기능(feature)으로 간주된다.

주요 결과
409,880개의 발행 가능한 종에 적용되어, 파이프라인은 706,220회의 실행을 수행하였고 5,489,881개의 특성 레코드를 보존했다(대상 인구의 99.985% 커버리지).

• 신뢰도 분포: 레코드의 81.57%가 High 신뢰도이며, 18.43%가 Medium 신뢰도이다. 레드 존 특성은 명시적인 어휘 신호에 의존하기 때문에 더 높은 High 신뢰도 비율(87.82%)을 보인다.
• 검증 레이어:
  • 레이어 1 (자동화, 전체 인구): 부분 문자열 검증 결과, 증거를 보유한 행의 90.12%가 소스의 축자적 인용구를 포함하고 있음을 확인했다. 이는 구조화된 필드에서 증거를 추출하는 cites_appendix_in_bio 특성을 제외할 경우 93.49%로 상승한다.
  • 레이어 2 (수동, n=100): 비-레드 존 행에 대한 층화 감사 결과, 100/100개의 증거 인용구가 주장된 값을 의미론적으로 뒷받침함을 확인했다(하한값 96.30%).
  • 레이어 3 (수동, n=50): 레드 존 행(독성)에 대한 안면 타당도(face-validity) 감사 결과, 50/50개가 Accept되었다(하한값 92.86%).
• 편차(Divergence): 여러 모델 버전에 의해 추출된 2,064개의 종-특성 쌍 중에서 73.5%가 동일한 값을 생성했다. 편차는 주로 다중 enum 리스트의 순서와 같은 외관상의 차이였으며, 모순적인 결과는 아니었다.

의의 및 주장
본 논문은 자신의 기여를 개별 레코드의 정확성에 대한 주장이 아닌, 방법론적 프레임워크로 명시적으로 규정한다.

• 감사 가능한 기질: 본 저장물은 "감사 가능한(audit-ready)" 자원으로 위치한다. 100%의 정확성을 주장하지 않으며, 550만 개의 행은 현재 모두 인간 검토를 위해 pending 상태로 표시되어 있다. 가치는 프로비넌스(provenance) 메커니즘(증거 인용구, 신뢰도 라벨, 버전 관리)을 통해 다운스트림 소비자가 자신의 특정 사용 사례에 따라 신뢰도를 계층화할 수 있다는 점에 있다.
• 엄격함의 확장성: 본 연구는 레지스트리에 결합되고 증거에 기반한 특성 추출 파이프라인이 밀리언 단위의 레코드를 처리하면서도 스키마 및 소스 텍스트에 대한 엄격한 준수를 유지하며, LLM 추출의 고질적인 문제인 "행 단위 신뢰(per-row trust)" 문제를 효과적으로 관리할 수 있음을 입증한다.
• 투명성: 거부 카운터, 기권율, 감사 샘플을 공개함으로써, 본 논문은 모델의 실패, 프로토콜의 기능(기권), 그리고 인프라 이슈를 구분하여 파이프라인의 동작을 투명하게 설명한다.

한계 및 범위
저자들은 다음 사항들이 검증되지 않았음을 명시한다:

• Hop-1 충실도: 상류의 기질 텍스트(다른 LLM에 의해 생성됨)의 품질은 여기서 검증되지 않는다.
• 레코드별 정확성: 인간의 큐레이션 없이 개별 특성 행이 사실적으로 정확하다는 주장은 하지 않는다.
• 평가자 간 일치도: 코헨의 카파(Cohen's κ)는 계산되지 않았다. 감사 샘플은 외부 블라인드 리뷰를 가능하게 하기 위해 공개되었다.
• 교차 패밀리 검증: 모델 간 합의는 작은 기회 샘플에서만 관찰되었다. 통제된 교차 패밀리 연구는 향로 과제로 남겨두었다.

결론적으로, 본 논문은 4가지 메커니즘 프레임워크가 방대한 양의 구조화되고 감사 가능한 특성 데이터셋을 생산하는 데 성공했음을 보여주며, 최종 검증의 부담을 필요한 프로비넌스 도구를 갖춘 다운스트림 소비자에게 넘기는 방식을 제안한다.