기술 요약: LLM 심층 연구 에이전트에서의 출처 인용 파싱 및 평가

문제 제기

대형 언어 모델(LLM) 은 수백 개의 웹 소스에서 정보를 종합하여 인용된 보고서를 생성하는 "심층 연구 에이전트"를 구동합니다. 그러나 이러한 시스템이 생성한 인용은 신뢰할 수 있게 검증될 수 없습니다. 현재 접근 방식은 두 가지 주요 한계를 겪고 있습니다:

1. 검증되지 않은 자기 인용: 모델이 정확하게 자기 인용을 하도록 신뢰하는 것은 환각되거나 잘못 귀속된 참조의 위험을 초래합니다.
2. 불충분한 RAG 검증: 검색 증강 생성 (RAG) 시스템은 인용된 소스가 접근 가능한지, 주제적으로 관련성이 있는지, 또는 그들이 지지하는 주장과 사실적으로 일관성이 있는지 검증하는 데 종종 실패합니다.

기존 벤치마크 (예: AttributionBench, CiteME) 는 이진 인용 분류나 인용 매칭에 초점을 맞추지만, 라이브 웹 컨텍스트에서 인용 추출과 다차원 품질 평가 (접근성, 관련성, 사실적 정확성) 를 결합하는 엔드투엔드 프레임워크는 부족합니다. 이 격차는 수백만 사용자가 매일 접하는 인용의 신뢰성에 관한 중요한 질문을 제기합니다.

방법론

저자들은 대규모 LLM 생성 마크다운 보고서의 인라인 인용을 평가하도록 설계된 재현 가능한 3 단계 출처 인용 평가 프레임워크를 소개합니다.

1. 결정론적 인용 추출

LLM 추론에 의존하는 추출 방법과 달리, 이 프레임워크는 마크다운 추상 구문 트리 (AST) 파서를 사용합니다.

• 프로세스: 파서는 마크다운을 정규화하고, 코드 블록을 제거하며, AST 를 구성한 후 이를 순회하여 인용 - 주장 쌍을 추출합니다.
• 논리: 다양한 인용 형식 (번호가 매겨진 참조, 각주, 인라인 링크) 을 처리하며, 문단 끝의 인용이 그 앞의 모든 인용되지 않은 문장에 적용되는 "역방향 귀속"을 구현합니다.
• 출력: 특정 인용 식별자와 관련된 중복 제거된 URL 과 텍스트 범위를 포함하는 구조화된 AttributionDocument.

2. 소스 검색

모든 고유한 인용에 대해 프레임워크는 실제 웹 콘텐츠를 검색합니다. JavaScript 렌더링 페이지를 처리할 수 있는 웹 콘텐츠 추출기가 소스 자료를 가져와 평가를 위해 5,000 자로 잘라냅니다.

3. 다차원 평가

프레임워크는 LLM-as-a-judge 평가자 (인간 검토를 통해 보정됨) 를 사용하여 각 인용 - 주장 쌍을 세 가지 상호 보완적인 차원에서 평가합니다:

• 링크 작동 여부: URL 접근성을 확인하는 이진 체크 (1/0) 입니다. LLM 추론 없이 끊어진 링크, 유료 벽, HTTP 오류 (404, 403) 를 식별합니다.
• 관련 콘텐츠: 검색된 소스가 주장과 동일한 주제를 다루는지 LLM 판사가 판단하여 자연어 설명과 함께 이진 점수를 생성합니다.
• 사실 확인: 가장 엄격한 차원입니다. LLM 판사는 텍스트 내의 특정 사실적 주장 (숫자, 날짜, 진술) 이 검색된 소스 콘텐츠에 의해 지지되는지 확인합니다. 점수는 이진 (지지/일관: 1, 모순/부재/불확실: 0) 입니다.

실험 설정

• 모델: 130 개의 심층 연구 벤치마크 및 BrowseComp 연구 쿼리에 대해 OpenAI, Anthropic, Google 및 오픈소스 14 개 LLM 이 벤치마크되었습니다.
• 절차적 연구: 검색 깊이가 인용 품질에 미치는 영향을 분리하기 위해 두 개의 최첨단 모델 (GPT-5.4 및 Claude Opus 4.6) 을 7 개의 검색 깊이 구간 (2~150 회 도구 호출) 에서 테스트했습니다.

주요 결과

1. 표면적 품질과 사실적 정확성 간의 괴리

가장 강력한 최첨단 모델조차도 표면적 지표와 사실적 신뢰성 사이에 중요한 격차를 보입니다:

• 링크 유효성: 모든 모델에서 94% 이상.
• 주제적 관련성: 최첨단 모델의 경우 80% 이상.
• 사실적 정확성: 현저히 낮아 39% 에서 77% 사이입니다.
• 시사점: 사용자는 작동하고 관련 있는 링크를 찾을 가능성이 높지만, 해당 소스에 귀속된 구체적인 사실은 거의 절반의 경우 지지되지 않습니다.

2. 제공자 및 모델 차이

• 오픈소스 모델: 인용 보고서 생성 작업 자체에 크게 어려움을 겪습니다. 유효한 인용 보고서 생성 성공률은 최첨단 모델의 83100% 에 비해 17% 에서 40% 사이였습니다. 또한 도구 호출 횟수도 적었습니다 (760 대 73~211).
• 양과 질의 트레이드오프: OpenAI 모델은 가장 많은 인용을 생성했습니다 (예: GPT-5 Mini 는 1,272 개의 인용). 하지만 사실 확인 점수는 낮았습니다 (39~59%). Anthropic 모델 (예: Claude Opus 4.5) 은 낮은 작업 성공률에도 불구하고 가장 높은 사실 확인 정확도 (76.8%) 를 달성하여, 포괄적인 인용보다 선택적 인용이 더 효과적일 수 있음을 시사합니다.

3. 정보 과부하 효과

절차적 연구는 검색 깊이와 정확성 사이의 반직관적인 관계를 드러냈습니다:

• 사실적 저하: 검색 깊이가 2 회에서 150 회 도구 호출로 증가함에 따라 사실 확인 정확도는 평균 약 42% 하락했습니다.
  • GPT-5.4 는 79% 에서 17% 로 급격히 하락했습니다.
  • Claude Opus 4.6 은 80% 에서 58% 로 하락했습니다.
• 안정적인 표면 지표: 링크 작동 여부 및 관련 콘텐츠 점수는 검색 깊이와 관계없이 안정적으로 유지되었습니다 (>92%).
• 결론: 검색량 증가가 사실적 종합을 개선하지는 않으며, 오히려 주의를 분산시키고 증가하는 소스 수에 걸쳐 사실을 종합하는 어려움으로 인해 이를 저해합니다.

기여 및 중요성

이 논문은 다음과 같은 기여를 주장합니다:

1. 최초의 엔드투엔드 프레임워크: 라이브 웹 인용에 대해 결정론적 인용 추출과 다차원 품질 평가 (접근성, 관련성, 사실적 정확성) 를 결합한 최초의 시스템을 소개합니다.
2. 종합적 벤치마킹: 주요 제공자 및 오픈소스 대안 간의 14 개 LLM 에 대한 최초의 체계적 비교를 제공하며, 사실적 정확성을 주요 차별화 요소이자 실패 지점으로 식별합니다.
3. 정보 과부하의 증거: 절차적 연구를 통해 검색 깊이 증가가 표면 지표는 안정적으로 유지하면서 사실적 정확성을 저하시킨다는 경험적 증거를 제시하여, "더 많은 검색이 더 나은 답변을 의미한다"는 가정에 도전합니다.

중요성:
저자들은 링크의 높은 유효성과 주제의 관련성이 LLM 생성 연구에 대한 "거짓된 신뢰감"을 조성한다고 주장합니다. 그들의 프레임워크는 표면적 인용 품질과 사실적 신뢰성 사이의 괴리를 평가하고 드러내기 위한 필수 인프라 역할을 합니다. 저자들은 시스템 설계자에게는 검색 전략이 포괄성보다 소스 이해의 깊이를 우선시해야 하며, 사용자에게는 의료, 법률, 금융과 같은 고위험 분야에서 검증되지 않은 인용에 의존하는 위험을 강조한다고 제안합니다.