💬 NLP

Abstractiveness Metrics for Evaluating Text Summarization: A Refined Formulation with Empirical Validation

이 논문은 텍스트 요약의 추상화 정도를 정량화하기 위한 원칙적인 휴리스틱 지표로서 참조 추상화(Reference Abstraction), 요약 추상화(Summary Abstraction), 그리고 추상화 비율(Abstraction Ratio)을 도입하며, XSUM 데이터셋에 대한 실증적 검증을 통해 이러한 척도들이 추출적 모델과 생성적 모델을 효과적으로 구분하고 잠재적인 환각 현상을 식별함을 입증한다.

원저자: Praveenkumar Katwe, Rakesh Chandra Balabantaray, Kali Prasad Vittala

게시일 2026-07-14

📖 5 분 읽기🧠 심층 분석

CC0 1.0

원저자: Praveenkumar Katwe, Rakesh Chandra Balabantaray, Kali Prasad Vittala

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 학생의 독후감을 채점하는 교사라고 상상해 보세요. 학생은 50페이지 분량의 소설을 단 한 페이지로 요약해야 합니다.

수년 동안 교사들은 이 보고서를 채점하기 위해 ROUGE라는 도구를 사용해 왔습니다. ROUGE는 엄격한 복사 붙여넣기 탐지기와 같습니다. 만약 학생의 보고서가 다른 교사가 작성한 '완벽한 정답지'와 정확히 같은 단어와 문장을 사용한다면 높은 점수를 줍니다. 하지만 여기에는 함정이 있습니다. ROUGE는 학생이 실제로 책을 읽었는지 여부는 상관하지 않습니다. 만약 학생이 정답지를 단어 그대로 복사했다면 A를 받지만, 완전히 새로운 내용을 썼음에도 몇 개의 키워드를 놓쳤다면 C를 받게 됩니다.

이 논문의 저자인 Praveenkumar, Rakesh, 그리고 Kali는 이렇게 말합니다. "잠깐만요! 우리는 학생이 단순히 '복사(추출)'하는 것인지, 아니면 실제로 '생각하고 다시 쓰는(추상화)' 것인지를 측정할 방법이 필요합니다." 또한 그들은 학생들이 책에 없는 내용을 지어내는 것(환각 현상)을 잡아내고자 합니다.

이를 위해 그들은 세 가지 새로운 "슈퍼 지표": 참조 추상화 (Reference Abstraction, RA), 요약 추상화 (Summary Abstraction, SA), 그리고 **추상화 비율 (Abstraction Ratio, AR)**을 발명했습니다.

세 가지 새로운 도구

원래의 책을 소스(Source), 완벽한 정답지를 참조(Reference), 학생의 결과물을 **요약(Summary)**이라고 생각해 보세요.

참조 추상화 (RA): 이것은 정답지 자체가 책을 얼마나 다시 쓰고 있는지를 측정합니다. 정답지가 단순히 문장을 복사하고 있나요, 아니면 창의적으로 요약하고 있나요?
요약 추상화 (SA): 이것은 학생의 요약본이 책을 얼마나 다시 쓰고 있는지를 측정합니다.
추상화 비율 (AR): 이것은 주인공입니다. 이 지표는 학생의 창의성과 정답지의 창의성을 비교합니다. 즉, "학생이 교사보다 더 많이, 적게, 혹은 비슷하게 다시 쓰고 있는가?"를 묻습니다.

어떻게 측정하는가 (비법 소스)

저자들은 단순히 단어 수를 세는 데 그치지 않았습니다. 그들은 조화 평균(크기의 극단적인 차이에 벌점을 주는 유형의 평균)과 **세제곱 비중첩 계수(cubic non-overlap factor)**를 포함하는 특별한 공식을 사용했습니다.

여기에는 마법 같은 기술이 있습니다. 그들은 원문과 중복되지 않는 텍스트 부분을 가져와서 이를 세제곱(3승) 합니다.

왜 세제곱을 할까요? imagine 두 명의 거의 똑같이 생긴 쌍둥이 사이의 미세한 차이를 찾아내려고 한다고 가정해 봅시다. 일반적인 눈으로 보면 똑같아 보일 것입니다. 하지만 1000배 확대하는 현미경 아래에 두면, 갑자기 한 명에게만 있는 작은 점 하나가 보일 것입니다.

만약 학생이 텍스트의 95%를 복사한다면, '새로운' 부분은 매우 작습니다.
만약 98%를 복사한다면, 그 '새로운' 부분은 훨씬 더 작아집니다.
차이를 세제곱함으로써, 수학적으로 그 작은 간격을 크게 부풀립니다. 복사 과정에서의 3% 차이는 점수에서 16배 더 큰 차이로 나타납니다. 이는 학생이 거의 다시 쓰려는 노력을 하지 않을 때 이 지표가 매우 민감하게 반응하도록 만듭니다.

실험 결과

연구팀은 창의적이고 짧은 요약을 사용하는 XSUM 데이터셋과 복사 붙여넣기 스타일의 요약을 사용하는 CNN/DailyMail 데이터셋의 100개 기사를 대상으로 테스트를 진행했습니다. 그들은 네 가지 서로 다른 AI 모델(BART-large-cnn, Pegasus-xsum, DistilBart, MT5-small)을 시험에 통과시켰습니다.

숫자들이 말해주는 결과는 다음과 같습니다:

복사꾼들: BART와 DistilBart라는 모델은 궁극의 복사꾼들이었습니다. XSUM 테스트에서 이들은 SA(요약 추상화) 점수가 0.12에서 0.26 사이였습니다. 이는 이들이 거의 아무것도 다시 쓰지 않고, 그저 원문에서 문장들을 짜깁기하고 있었음을 의미합니다.
창의적인 모델들: Pegasus와 MT5라는 모델은 작가들이었습니다. XSUM에서 이들의 SA 점수는 1.15에서 1.99 사이였습니다. 이들은 실제로 내용을 다시 쓰고 있었습니다.
환각의 함정: 이것이 가장 중요한 발견이며, 어떤 종류의 "정답지(Reference)"를 사용하는지에 따라 달라집니다.
- "정답지"(Reference)가 이미 매우 창의적일 때(예: XSUM), 모델들은 일반적으로 교사보다 적게 다시 썼습니다 (AR < 1).
- 하지만, "정답지"가 주로 책을 복사한 형태일 때(예: CNN/DailyMail), 창의적인 모델들(Pegasus와 MT5)에게서 이상한 일이 일어났습니다. 이들의 **AR(추상화 비율)**이 1.0을 훨씬 넘어갔습니다.
- AR이 1.0이라는 것은 학생이 교사와 똑같은 정도로 다시 쓰고 있다는 뜻입니다.
- Pegasus가 CNN/DailyMail의 unigram(단어 단위)에서 기록한 3.74라는 수치는, 학생이 교사보다 훨씬 더 많이 다시 쓰고 있음을 의미합니다.
- 결정적으로, 저자들은 참조(Reference)가 추출형(복사 위주)이고 AR > 1일 때, 이는 높은 환각 위험을 나타낸다는 것을 발견했습니다. 모델이 창의적으로 보이기 위해 책에 없는 사실들을 만들어내고 있다는 신호입니다.

BART는 텍스트를 충실히 복사했기 때문에 CNN/DailyMail에서 높은 ROUGE 점수(0.393)를 받았습니다. ROUGE 눈에는 완벽해 보였던 것입니다.
Pegasus는 내용을 다시 썼기 때문에 더 낮은 ROUGH 점수(0.197)를 받았습니다. ROUGE는 이를 더 나쁘다고 판단했습니다.
하지만, 새로운 AR 지표는 Pegasus가 (unigram 기준) 3.74라는 AR을 기록함으로써, 실제로는 **환각(사실을 지어냄)**을 일으키고 있음을 보여주었습니다.

이 논문은 이러한 새로운 지표가 없다면, 우리는 복사꾼(BART)이 가장 좋은 모델이라고 생각하는 반면, 창의적인 모델(Pegasus)이 사실을 지어내고 있는 위험한 상태라는 것을 놓칠 수 있다고 주장합니다.

저자들이 주장하지 않는 것

저자들은 자신들이 가짜 뉴스를 해결하거나 완벽한 요약을 해결했다고 주장하지 않도록 주의를 기울였습니다.

그들은 이 지표가 심층적인 의미가 아닌 표면적인 단어(n-gram)만을 본다는 점을 인정합니다. 만약 학생이 다른 단어를 사용하더라도 똑같은 의미를 전달한다면, 이 지표는 그것을 '다시 쓰기'로 간und합니다. 이는 이 특정 테스트에서 그들이 의도한 바입니다.
그들은 세제곱(3)을 사용하는 선택이 물리 법칙이 아니라, 테스트를 통해 효과적임을 확인한 설계상의 선택이었다고 말합니다.
그들은 이 지표들이 스크리닝 도구라고 제안합니다. 이 지표들은 인간의 검토가 필요한 요약본을 표시해 줍니다. 이 지표들이 자동으로 거짓말을 고쳐주는 것이 아니라, 단지 손가락질하여 알려줄 뿐입니다.

결론

이 논문은 단순히 복사 붙여넣기를 체크하는 것을 넘어 AI 요약본을 채점하는 새로운 방법을 소개합니다. 이들은 특별한 수학적 트릭(비중첩 부분을 세제곱하는 방식)을 사용하여, AI가 너무 창의적이어서 사실을 지어내고 있는지 포착합니다.

그들은 100개의 문서를 통해, 이 지표들이 복사하는 모델(SA ≈ 0.12–0.26)과 글을 쓰는 모델(SA ≈ 1.15–1.99)을 명확하게 구분할 수 있음을 증명했습니다. 또한, 참조가 복사 위주일 때 **추상화 비율(AR)**이 1.0을 돌파하면, 모델이 인간의 참조보다 더 많이 추상화하고 있으며, 이는 기존의 점수들이 놓치는 환각 위험을 나타낸다는 점을 보여주었습니다.

마치 교사에게 기존의 채점 시스템이 완전히 놓쳤던 "지어낸 사실"이라는 작은 점을 찾아낼 수 있는 새로운 돋보기를 쥐여준 것과 같습니다.

기술 요약: 텍스트 요약 평가를 위한 추상성 지표 (Abstractiveness Metrics)

문제 정의
현재의 텍스트 요약 평가 패러다임은 생성된 요약과 사람이 작성한 참조(reference) 간의 중복도를 측정하는 ROUGE 및 BERTScore와 같은 표면적 지표에 크게 의존하고 있다. 이러한 지표들은 참조 대비 품질을 평가하는 데는 효과적이지만, 충실도(source에 근거한 정도)나 추상성(생성된 텍스트가 추출적 복사에서 벗어난 정도)을 측정하는 데는 실패한다. 요약문은 참조 문구 자체에 포함된 환각(hallucination) 내용을 충실히 재현함으로써 높은 ROUGE 점수를 얻을 수도 있고, 혹은 지나치게 추출적(extractive)일 수도 있다. 새로운 n-gram 비율과 같은 기존의 대리 지표들은 토큰 수준에서 이진적(binary)이며, 문서 길이의 비대칭성을 고려하지 못하거나 다양한 중복 수준에 걸친 단계적 변별력을 제공하지 못한다. 즉, 참조 문구와 독립적으로 소스 문서와 생성된 텍스트 사이의 관계를 평가할 수 있는 원칙적이고 정량적인 척도가 부족한 실정이다.

방법론
저자들은 세 가지 상호 보완적인 소스 근거 지표인 참조 추상성 (Reference Abstraction, RA), 요약 추상성 (Summary Abstraction, SA), 그리고 **추상화 비율 (Abstraction Ratio, AR)**을 제안한다. 이 지표들은 조화 평균 길이에 가중치를 부여하고 세제곱 형태의 비중복 증폭 계수를 결합한 공식을 통해 추상성을 정량화하도록 설계되었다.

공식:
- 참조 추상성 (RA): 골드 스탠다드 참조의 고유한 추상성을 측정한다. 이는 참조 길이( $R$ )와 소스 길이( $O$ )의 조화 평균에 비중복 비율의 세제곱을 곱하여 계산된다: $RA = \frac{2RO}{R+O} \times (1 - c_R)^3$ , 여기서 $c_R$ 은 참조와 소스 간의 정규화된 중복도이다.
- 요약 추상성 (SA): RA와 유사하게, 소스 대비 생성된 요약( $S$ )의 추상성을 측정한다: $SA = \frac{2SO}{S+O} \times (1 - c_S)^3$ .
- 추상화 비율 (AR): 생성된 요약의 추상성을 참조의 추상성과 비교하는 무차원 비율이다. 이는 절대적인 문서 길이로부터 독립성을 보장하기 위해 비중복 요인을 분리한다: $AR = \frac{(1 - c_S)^3}{(1 - c_R)^3 + \epsilon}$ .
설계 근거:
- 조화 평균: 극단적인 길이 비대칭에 대해 페널티를 부여하기 위해 사용되며, 매우 긴 소스에 대해 매우 짧은 요약이 생성될 경우 더 높은 추상적 요구를 반영하여 낮은 기본 점수를 부여한다.
- 세제곱 증폭: $(1-c)^3$ 항은 추출 경계 부근(중복도 $c \approx 1$ 인 지점)에서 비선형적 민감도를 제공한다. 이는 중복도의 미세한 차이(예: 0.95와 0.98 사이)를 증폭하여 추출적 행동과 추상적 행동 사이의 날카로운 변별을 가능하게 한다.
- 무차원 비율: AR은 조화 평균 요인 없이 정의되어 1.0을 기준으로 해석 가능한 순수 비교 지표가 되도록 한다 (즉, $AR \approx 1$ 은 생성된 요약이 참조의 추상화 수준과 일치함을 나타낸다).

주요 기여

원칙적인 지표: 참조 매칭이 아닌 소스 근거를 사용하여 추출적 복사로부터의 이탈을 측정하는 휴리스틱 지표로서 RA, SA, AR을 도입하였다.
연속적 등급 부여: FactCC와 같은 이진적 충실도 탐지기와 달리, 이 지표들은 해석 가능한 임계값을 가진 연속적인 점수를 제공하여 완만한 패러프레이징(paraphrasing)과 심각한 허위 사실 생성(fabrication)을 구분할 수 있게 한다.
길이 정규화: 조화 평균과 정규화된 중복 비율의 사용은 문서 길이 비대칭성과 관련된 기존 연구의 한계를 해결한다.
스크리닝 도구: 이 지표들은 모델이 인간의 참조보다 훨씬 더 많이 추상화하는 경우($AR > 1$)를 식별함으로써, 잠재적 환각에 대해 수동 평가가 필요한 요약을 찾아내는 스크리닝 메커니즘 역할을 한다.

실험 결과
저자들은 100개의 문서(XSUM에서 50개, CNN/DailyMail에서 50개)를 대상으로 네 가지 요약 모델(BART-large-cnn, Pegasus-xsum, DistilBart, MT5-small)에 대해 지표를 평가하였다.

모델 유형의 변별: 지표는 추출 편향 모델(BART, DistilBart)과 추상 모델(Pegasus, MT5)을 성공적으로 구분하였다.
- 추출 모델: 낮은 요약 추상성( $SA \approx 0.12–0.26$ )과 매우 낮은 추상화 비율( $AR \approx 0$ )을 보였으며, 이는 소스와의 높은 중복도와 최소한의 추상화를 나타낸다.
- 추상 모델: 더 높은 SA 값( $SA \approx 0.96–1.77$ )을 나타냈다.
데이터셋 특성: RA는 XSUM 참조가 CNN/DailyMail 참조( $RA_1 = 0.61$ )보다 실질적으로 더 추상적( $RA_1 = 3.55$ )임을 확인하였다.
환각 탐지:
- 추출적 참조를 가진 CNN/DailyMail 데이터셋에서, Pegasus와 MT5 같은 추상 모델은 $AR > 1$을 생성하여 참조가 허용하는 범위를 넘어선 새로운 내용을 도입했음을 나타냈다. 예를 들어, Pegasus는 CNN/DM 기사의 44%에서 "높은 환각 위험(High Hallucination Risk)" 분류를 트리거했다.
- 추상적 참조를 가진 XSUM에서, 모든 모델은 $AR < 1$을 기록했으며, Pegasus가 참조 수준에 가장 근접했다( $AR_2 = 0.92$ ).
ROUGE와의 상보성: 연구는 ROUGE와 AR이 독립적인 차원을 포착함을 입증했다. 예를 들어, CNN/DM에서 BART는 가장 높은 ROUGE-1 점수(0.393)와 낮은 환각 위험( $AR \approx 0$ )을 기록한 반면, Pegasus는 더 낮은 ROUGE-1(0.197)에도 불구하고 높은 환각 위험($AR = 3.74$)을 보였다. 이는 ROUGE 단독으로는 모델이 "좋은 품질의 점수 뒤에서 환각을 일으키고 있는지"를 감지할 수 없음을 시사한다.

의의 및 주장
본 논문은 RA, SA, AR이 요약 품질(참조와의 일치도)과 충실도(소스에 대한 근거) 사이의 단절 문제를 해결함으로써 기존 평가 프레임워크에 필수적인 보완책을 제공한다고 주장한다. 저자들은 이 지표들을 ROUGE나 BERTScore를 대체하는 것이 아니라, 다음과 같은 역할을 하는 필수적인 스크리닝 도구로 정의한다:

추상화 정도를 원칙적이고 유계된(bounded) 방식으로 정량화한다.
모델의 추상화 수준이 인간의 참조와 크게 괴리되는 경우를 식별하여, 수동 검토를 위한 환각 가능성을 알린다.
수동 평가의 우선순위를 정할 수 있는 연속적인 척도(예: $AR > 2.0$인 요약은 즉각적인 주의가 필요함)를 제공한다.

저자들은 이 지표들이 환각의 존재를 먼저 식별한 후 그 구체적인 성격을 분석하는 엔티티 환각 지수(Entity Hallucination Index, EHI)와 같은 더 세밀한 환각 분해로 나아가기 위한 전구체 역할을 한다고 언급한다. 이 연구는 높은 추상성이 본질적으로 낮은 품질을 의미하는 것이 아니라, 모델의 추상화 수준과 참조의 추상화 수준 사이의 불일치(극단적인 AR 값으로 나타남)가 추가 검증의 필요성을 알리는 신호임을 강조한다.

세 가지 새로운 도구

어떻게 측정하는가 (비법 소스)

실험 결과

저자들이 주장하지 않는 것

결론

기술 요약: 텍스트 요약 평가를 위한 추상성 지표 (Abstractiveness Metrics)

유사한 논문