From Voting to Agent Collaboration: Answer-Type-Aware LLM Pipelines for BioASQ 14b

기술 요약: 투표에서 에이전트 협업까지: BioASQ 14b를 위한 답변 유형 인식형 LLM 파이프라인

문제 정의
생물 의학적 질의응답(QA)은 과학 문헌의 급격한 확대로 인해 상당한 어려움에 직면해 있습니다. 핵심적인 증거가 여러 문서에 분산되어 있거나, 이질적인 용어로 표현되거나, 상충하는 맥락 속에 제시되는 경우가 많기 때문입니다. 거대 언어 모델(LLM)은 검색 증강 설정에서 유망한 가능성을 보여주었으나, 생물 의학 QA에 적용할 때는 특정 한계로 인해 제약을 받습니다. 구체적으로는 검색된 스니펫(snippet)의 순서에 대한 민감도, 상충하는 증거 해결의 어려움, 정밀한 개체 정규화의 필요성, 그리고 환각(hallucination)의 위험 등이 있습니다. 또한, BioASQ Task B 챌린지는 yes/no, factoid(사실 기반 단답형), list(목록형)와 같이 서로 다른 답변 형식을 포함하며, 각 형식은 고유한 추론 요구 사항과 평가 지표를 가집니다. 저자들은 단일하고 균일한 추론 전략으로는 이러한 다양한 질문 유형에 걸친 추론 및 평가 기준을 해결하기에 불충분하다고 주장합니다.

방법론
본 논문은 BioASQ 14b Task B를 위해 설계된 질문 유형별 LLM 프레임워크인 ku_dmis를 제시합니다. 이 시스템은 질문을 유형에 따라 전문화된 추론 파이프라인으로 라우팅하는 모듈형 아키텍처를 채택하며, 견고성을 높이기 위해 다수의 LLM과 앙상블 전략을 활용합니다.

1. 시스템 아키텍처:

   • 입력: 시스템은 질문, 해당 질문의 유형, 그리고 골드 스탠다드(gold-standard) 관련 스니펫을 입력받습니다.
   • 라우팅: 라우터는 입력을 Yes/No, Factoid, 또는 List 중 하나인 세 가지 전문화된 분기로 안내합니다.
   • 앙상블 접근법: GPT-4o, GPT-5 변형 모델, Claude Sonnet/Opus, Gemini 모델 등을 포함한 다수의 LLM이 상호 보완적인 추론기로 사용됩니다. 이들의 출력값은 모델 특유의 편향을 완화하기 위해 집계됩니다.

2. 질문 유형별 전략:

   • Yes/No 질문: 증거 순서에 대한 민감도와 상충하는 신호를 해결하기 위해, 시스템은 **스니펫 셔플링(snippet shuffling)**과 **자기 성찰(self-reflection)**을 결과에 결합합니다. 각 모델은 셔플링된 스니펫에 대해 네 번의 쿼리를 수행합니다. 다수결 투표를 통해 초기 답변을 결정합니다. 만약 출력이 일치하지 않을 경우, **검증 에이전트(verification agent)**가 개입하여 증거를 긍정, 부정, 불확실 카테고리로 구조화하여 최종 이진 결정(Yes, No, 또는 None)을 내립니다.
   • Factoid 질문: 이 유형은 생물 의학적 개체(예: 약물, 유전자)의 정밀한 식별을 요구합니다. 파이프라인은 전체 스니펫 입력과 **검색 기반 연쇄 사고(Chain-of-Thought, CoT) 인컨텍스트 학습(ICL)**을 결합하여 사용합니다. 모델의 추론을 가이드하기 위해 증거로부터 답변으로 이어지는 데모를 제공하는 의미론적으로 유사한 훈련 질문들을 검색합니다. 여러 모델의 출력은 정규화된 후 **합의 필터링(consensus filtering)**을 통해 집계되며, 투표 수에 따라 순위가 매겨진 후 최소 3개 이상의 모델 출력에서 나타난 후보들만 유지됩니다.
   • List 질문: 높은 재현율(recall)과 정밀도(precision) 사이의 균형을 맞추기 위해, 다중 에이전트 협업(multi-agent collaboration) 아키텍처가 사용됩니다. 여기에는 네 단계의 순차적 에이전트가 포함됩니다:
     • 증거 분석가(Evidence Analyst): 스니펫을 스캔하고, 관련성을 점수화하며, 최종 답변을 확정하지 않은 상태로 후보를 추출합니다.
     • 추론 에이전트(Reasoning Agent): 누락을 방지하기 위해 증거를 재독하며 후보 목록을 생성합니다.
     • 검증 에이전트(Verification Agent): 근거 제시(grounding), 완전성, 형식, 중복 여부를 감사합니다.
     • 감독 에이전트(Supervisor Agent): 중간 보고와 피드백을 검토하여 목록을 최종 확정하며, 원본 스니펫을 바탕으로 목록을 그대로 채택하거나 수정합니다.

3. 개발 및 평가:

   • 전략은 BioASQ 13b 테스트 세트에 대한 예비 실험을 바탕으로 선택되었습니다.
   • 최종 시스템은 네 개의 배치(batch)에 걸쳐 공식 BioASQ 14b Task B 챌린지에서 평가되었습니다.
   • 프롬프팅, 정규화 및 집계 임계값을 최적화하기 위해 다양한 제출 변형(ku_dmis1–5)이 테스트되었습니다.

주요 기여

• 통합 프레임워크: 본 논문은 이전에 별개였던 두 가지 접근 방식인 LLM 기반 앙상블과 에이전트 기반 QA 프레임워크를 하나의 유형 인식형 시스템으로 통합했습니다.
• 유형별 추론: 이진 결정을 위한 셔플링/투표, 개체 정밀도를 위한 CoT/합의, 목록 커버리지를 위한 다중 에이전트 검증 등, 서로 다른 추론 절차가 BioASQ 질문 유형의 고유한 제약 조건을 처리하는 데 필수적임을 입증했습니다.
• 견고성 메커니즘: 스니펫 셔플링, 선택적 검증 에이전트, 검색 기반 ICL의 도입은 생물 의학 LLM 애플리케이션에서 흔히 발생하는 불안정성과 환각 문제를 구체적으로 겨냥합니다.

결과
공식 BioASQ 14b 평가에서 ku_dmis 시스템은 모든 배치와 질문 유형에 대해 경쟁력 있는 성능을 보여주었습니다:

• Yes/No: 네 개 배치 전체에서 평균 매크로 F1 점수 0.9110을 달성하며 안정적인 성능을 보였습니다. 시스템은 더 까다로운 후기 배치에서도 높은 정확도를 유지했습니다.
• Factoid: 평균 평균 역순위(Mean Reciprocal Rank, MRR) 0.4626을 달성했습니다. 특히, 시스템은 배치 4의 factoid 서브태스크에서 1위를 차지했습니다. 성능은 배치마다 차이가 있었으나, 마지막 배치에서 가장 강력한 결과를 보여주었으며, 이는 전체 스니펫 추론과 합의 필터링의 효과를 시사합니다.
• List: 배치가 진행됨에 따라 유의미한 개선을 보였습니다. 평균 F-measure는 배치 1의 0.2734에서 배치 4의 0.5652로 상승하였으며, 전체 평균은 0.4439를 기록했습니다. 이러한 개선은 협업 에이전트 파이프라인이 개체의 과잉 생성(over-generation)과 미달 생성(under-generation)을 줄인 덕분입니다.

의의 및 주장
저자들은 자신들의 결과가 신뢰할 수 있는 생물 의학 QA를 위해 질문 유형별 추론, 앙상블 예측, 그리고 명시적 검증 메커니즘을 결합하는 것의 효과를 입증한다고 주장합니다. 본 논문은 다양한 생물 의학 문헌의 요구 사항에 대해 "단일한(one-size-fits-all)" 프롬프팅 전략은 최선이 아니라는 점을 강조합니다. 이진 결정의 안정성을 위한 투표, 개체의 정밀도를 위한 합의, 목록 커버리지를 위한 에이전트 협업과 같이 답변 형식에 맞춰 추론 절차를 최적화함으로써, 시스템은 견고한 성능을 달 achieves 합니다.

본 논문은 시스템이 독점 모델에 의존하고 있어(재현성을 제한함), 이상적인 문단 생성보다는 정확한 답변에 집중하며, 성능의 가변성은 더 나은 생물 의학 동의어 정규화와 적응형 임계값 설정의 필요성을 시사한다는 점을 언급하며 한계를 겸허히 인정합니다. 그러나 주요 기여는 전문화된 유형 인식형 파이프라인이 복잡한 생물 의학 영역에서 LLM의 신뢰성과 정확성을 크게 향상시킨다는 것을 입증했다는 점에 있습니다.