기술 요약: 요약 기술은 아직 죽지 않았다

문제 정의

대규모 언어 모델(LLM)의 급격한 발전은 모델이 생성한 요약이 인간이 작성한 참조 문헌과 대등하거나 이를 능가하여, 요약 연구를 "해결된" 문제로 만드는 것처럼 보이는 서사를 촉발했습니다. 이러한 관점을 뒷받침하는 이전 연구들은 종종 총체적인 선호도 판단, 편향되기 쉬운 LLM-as-Judge 프로토콜, 그리고 유효한 외부 지식과 환각을 혼동하는 소스 전용 사실성 검증에 의존해 왔습니다. 본 논문은 요약 연구가 구식이 되었다는 결론에 이의를 제기하며, 현재의 평가 방식이 표면적인 유창성과 심층적인 정보 충실도(informational fidelity)를 분리하는 데 실패하고 있다고 주장합니다. 저자들은 LLM이 요약의 기본 품질(baseline quality)을 높였으나, 특히 정보성(informativeness), 성실성(faithfulness), 그리고 언어적 다양성 측면에서 인간의 능력이라는 "천장(ceiling)"에는 아직 도달하지 못했다고 상정합니다.

방법론

요약의 현 상태를 재검토하기 위해, 저자들은 5개의 다양한 데이터셋(CNNSum, SciNews, DiverseSumm, VISTA, EurLexSum)에 걸쳐 5개의 최첨단 LLM(GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro, Qwen3.5, Kimi-K2.5)을 대상으로 하는 다중 트랙 평가를 수행했습니다. 평가 프레키워크는 네 가지 별도의 트랙으로 구성됩니다:

1. 통제된 인간 평가: 주석가들은 1~5점 리커트 척도를 사용하여 네 가지 특정 차원(정보성, 성실성, 일관성, 간결성)에 대해 요약을 평가하고 블라인드 쌍체 순위(pairwise rankings)를 수행했습니다. 주석가 간 일치도는 Krippendorff's $\alpha$를 통해 모니터링되었습니다.
2. 편향이 완화된 LLM-as-Judge: 동일한 5개의 모델이 6개의 소스(인간 참조 포함) 모두에 대해 판사 역할을 수행했습니다. 자기 선호(self-preference) 및 위치 편향(position bias)을 완화하기 위해, 각 모델이 판사 역할을 할 때는 해당 모델의 출력물을 제외하였으며, 순위는 나머지 4개 모델의 합의로부터 도출되었습니다.
3. 사실성 검증: 저자들은 요약을 원자적 주장(atomic claims)으로 분해하기 위해 4가지 보완적 지표(FaStFact, SAFE, FActScore, VeriScore)를 사용했습니다. 결정적으로, 검증은 소스 문서에만 의존하는 대신 외부 지식 소스를 대상으로 수행되었으며, 이를 통해 진정한 환각과 유효한 외적 맥락화(extrinsic contextualization)를 구분했습니다.
4. 코퍼스 수준의 언어 분석: 연구는 유형-토큰 비율(TTR), 의존 트리 깊이, 명사구 수식어, 주제 진행, 압축률을 포함한 7가지 지표를 사용하여 어휘적, 통사적, 담화적 특성을 분석했습니다.

주요 기여

• 차원별 평가: 저자들은 총체적인 선호도 판단이 흔히 표면적인 유창성과 정보 밀도를 혼동한다는 것을 입증합니다. 독립적으로 평가했을 때, 인간의 요약은 정보성과 성실성에서 여전히 상당한 우위를 유지하는 반면, LLM 출력물은 주로 일관성과 간결성 측면에서 선호됩니다.
• 정교화된 사실성 검증: 외부 지식 검증을 도입함으로써, 본 연구는 인간의 참조 문헌이 추론이나 종합이 필요한 주장에 대해 더 신뢰할 수 있음을 밝혀냈습니다. 저자들은 소스 전용 프로토콜이 유효한 외적 맥락을 추가하는 인간의 참조 문헌에는 체계적으로 불이익을 주는 반면, 생성 시 발생하는 조작(fabrication)에 대해서는 LLM에 덜 엄격하다는 것을 보여줍니다.
• 언어적 발산 분석: 본 논문은 LLM 요약이 인간의 요약에 비해 낮은 어휘 다양성, 얕은 통사 구조, 약한 담화 수준의 조직을 보인다는 증거를 제공합니다. 이는 서로 다른 모델 제품군 간의 양식적 동질성(stylistic homogeneity) 패턴을 시사합니다.
• 강건성 검증: 연구 결과는 다양한 생성 설정(온도, 프롬프팅 전략)에 걸쳐 유지되며, 인간 주석가와 편향이 완화된 LLM 판사 모두를 통해 검증되었습니다.

결과

• 인간 vs. 모델 선호도: 쌍체 인간 평가에서 인간의 참조 문헌은 0.66에서 0.90 사이의 승률로 5개 모델 모두를 상대로 승리했습니다. 이러한 우위는 정보성(+0.17 ~ +0.51)과 성실성에서 가장 두드러졌으며, 모델은 일관성 측면에서 인간을 앞서는 경우가 많았습니다.
• LLM-as-Judge 일관성: 편향이 완화된 LLM 판사들은 인간의 발견을 뒷받침하며, 인간 요약에 0.70에서 0.95의 승률을 부여했습니다. 판사들은 내용 중심의 차원에서는 인간의 출력을 일관되게 선호했으나, 형식 중심의 차원에서는 모델의 출력물으로 이동하는 경향을 보였습니다.
• 사실성: 인간의 요약은 4가지 검증 지표 모두에서 더 높은 사실성 점수를 기록했습니다(평균 마진 0.04 ~ 0.13). 외부 지식에 대해 평가했을 때, 특히 외적 맥락이 기대되는 SciNews와 같은 데이터셋에서 인간의 우위가 더욱 뚜렷해졌습니다.
• 언어적 특성: 인간의 요약은 더 높은 어휘 다양성(TTR 및 MATTR), 더 깊은 의존 트리, 더 복잡한 명사구 수식어를 보여주었습니다. 반면, 모델은 소스의 순서를 더 엄격하게 따르고 덜 공격적인 압축을 적용하여 더 얕은 통사 구조를 보였습니다.

의의 및 주장

본 논문은 요약 기술은 아직 죽지 않았다고 단언합니다. 저자들은 현재의 LLM이 요약의 "바닥(floor)" 품질을 성공적으로 높여 표면적인 작업에는 유능하게 만들었지만, 심층적인 추론, 정보 압축, 그리고 성실한 종합 측면에서의 성능 "천장(ceiling)"은 여전히 인간의 능력 아래에 있다고 주장합니다.

본 연구의 의의는 다음과 같습니다:

1. 서사 교정: 일반 목적의 LLM이 요약 문제를 해결했다는 주장에 이의를 제기하며, 단일 트랙 평가가 놓칠 수 있는 지속적인 정보성 및 성실성의 격차를 강조합니다.
2. 방법론적 엄밀성: 유창성과 품질을 혼동하지 않고, 환각과 유효한 맥락화를 적절히 구분하기 위해 차원별 평가와 외부 지식 검증을 옹호합니다.
3. 미래 방향: 연구 결과는 향후 연구가 성실한 추론, 정보 압축, 그리고 언어적으로 다양한 생성을 우선시해야 함을 시사합니다. 이는 특히 사실적 정밀도가 중요한 검색 증강 생성(RAG), 전문 워크플로우, 지식 관리와 같은 다운스트림 애플리케이션에서 중요합니다.

저자들은 요약이 여전히 열린 연구 문제이며, 성실한 추론과 정보 처리에 대한 AI의 능력을 진전시키는 데 있어 중요한 테스트베드 역할을 한다고 결론짓습니다.