ConCISE: A Reference-Free Conciseness Evaluation Metric for LLM-Generated Answers

이 논문은 인간 참조 데이터 없이 LLM 생성 답변의 불필요한 내용을 정량화하여 간결성을 평가하는 새로운 메트릭 'ConCISE'를 제안하고, 이를 통해 대화형 AI 시스템의 응답 간결성을 자동 평가할 수 있음을 입증합니다.

핵심

📝 "ConCISE": AI 답변이 '너무 길어'지는 문제를 해결하는 새로운 측정기

이 논문은 최근 큰 인기를 끌고 있는 **거대 언어 모델 **(LLM, 예: 챗봇, AI 비서)이 답변을 줄 때 자주 겪는 한 가지 큰 문제를 다룹니다. 바로 "답변이 너무 길고 지루하다"는 점입니다.

이 문제를 해결하기 위해 호주 연방은행 (Commonwealth Bank of Australia) 연구팀이 ConCISE라는 새로운 측정 도구를 개발했습니다. 이걸 쉽게 비유해서 설명해 드릴게요.

---

🤔 왜 이 연구가 필요할까요?

상상해 보세요. 친구가 "오늘 날씨 어때?"라고 물었는데, AI 가 이렇게 답한다면요?

"네, 오늘 날씨는 흐립니다. 구름이 많이 끼어 있어서 햇빛이 잘 안 비칩니다. 비가 올 수도 있다는 예보가 있었지만, 아직 비는 오지 않았습니다. 기온은 20 도 정도이고..."

이 답변은 정확하지만, 친구가 원하는 건 "비 오나요?"라는 간단한 정보일 뿐입니다. AI 가 불필요한 말 (冗余, redundancy) 을 너무 많이 섞어대면:

1. 사용자는 지루해집니다. (핵심 정보를 찾기 힘들어요)
2. 돈이 더 듭니다. (많은 AI 서비스는 '글자 수'나 '토큰 수'에 따라 요금을 받기 때문이죠)

기존에는 AI 답변의 질을 평가할 때, **정답 **(참고문서)이 있어야만 점수를 매길 수 있었습니다. 하지만 현실에서는 정답이 없는 경우가 대부분이죠. 그래서 연구팀은 정답 없이도 AI 가 얼마나 간결하게 말했는지를 재는 새로운 방법을 고안했습니다.

---

🛠️ ConCISE 는 어떻게 작동할까요? (3 가지 마법 비법)

ConCISE 는 정답을 비교하는 대신, AI 스스로의 답변을 '다듬어 보는' 3 가지 시나리오를 만들어 봅니다. 마치 요리사가 요리를 다듬는 과정과 비슷합니다.

1. 📝 요약하기 (두 가지 방식)

AI 에게 "이 긴 답변을 핵심만 남긴 요약문으로 만들어줘"라고 시킵니다.

• **추상적 요약 **(Abstractive) 내용을 이해하고 새로운 말로 다시 쓰는 것 (예: "오늘 비가 올 것 같아"라고 요약).
• **추출적 요약 **(Extractive) 원문에서 가장 중요한 문장만 골라내는 것.
• 비유: 긴 소설을 읽지 않고, 책의 목차나 줄거리만 보고 내용을 파악하는 것과 같습니다.

2. ✂️ 불필요한 말 잘라내기 (Word Removal)

AI 에게 "이 답변에서 핵심 의미는 그대로 유지하되, 불필요한 말은 최대한 잘라내"라고 시킵니다.

• 비유: 긴 편지를 **최소한의 단어만 남긴 전보 **(Telegraph)로 바꾸는 작업입니다. "비 오니까 우산 챙겨가"만 남기고 "오늘 날씨가 흐려서 비가 올 확률이 높으니 우산을 챙겨가는 게 좋겠습니다" 같은 말은 다 잘라냅니다.

3. 📊 점수 계산하기

원래 답변의 길이와, 위 3 가지 작업 (두 가지 요약 + 잘라내기) 후의 길이를 비교합니다.

• 결과: 원래 답변이 길고, 요약이나 잘라낸 버전이 훨씬 짧다면? → AI 는 '지저분하게' 길게 썼다는 뜻입니다. (점수 낮음)
• 결과: 원래 답변이 이미 짧고, 요약해도 차이가 없다면? → AI 는 '간결하게' 잘 썼다는 뜻입니다. (점수 높음)

---

🧪 실험 결과: 정말 잘 작동할까요?

연구팀은 위키피디아 기반의 질문과 답변 데이터를 이용해 이 방법을 테스트했습니다.

• 인간 평가자 vs ConCISE: 사람들이 "이 답변은 간결하다/아니다"라고 점수를 매길 때, ConCISE 가 그 판단과 약 60~90% 이상 일치했습니다.
• 기존 방법과의 비교: 단순히 AI 에게 "이 답변의 간결함 점수를 10 점 만점에 매겨줘"라고 시키는 기존 방법 (GPT Score) 은 인간과 거의 일치하지 않았습니다. (AI 가 "길면 좋은 거 아니야?"라고 오해할 수 있기 때문)
• 결론: ConCISE 는 정답 없이도 AI 가 얼마나 불필요한 말을 줄였는지 매우 정확하게 측정해 냅니다.

---

💡 이 기술의 의미와 한계

✨ 장점:

• 정답이 필요 없음: AI 개발자가 정답을 일일이 작성할 필요 없이, AI 답변 자체만으로 품질을 체크할 수 있습니다.
• 비용 절감: 불필요한 긴 답변을 줄여 AI 사용 비용을 아낄 수 있습니다.
• 사용자 경험 향상: 사용자는 핵심 정보만 빠르게 얻을 수 있습니다.

**⚠️ 한계점 **(주의할 점)

• 상황에 따라 다름: "간결함"의 정의는 분야마다 다릅니다.
  • 예시: 법률이나 금융 분야에서는 "불필요한 설명"처럼 보이는 긴 문장도 법적 정확성을 위해 꼭 필요할 수 있습니다. ConCISE 가 무조건 짧다고 좋은 건 아니라는 점이죠.
• 향후 과제: 다양한 분야에 맞춰 더 똑똑하게 조정할 필요가 있습니다.

🚀 요약하자면

이 논문은 "AI 가 말을 너무 많이 할 때, 정답 없이도 그 '말 많음'을 재서 고쳐달라"는 새로운 자를 개발한 것입니다. 마치 요리사에게 "이 요리는 너무 소금이 많아서 맛이 없다"고 알려주는 미각 테스트처럼, AI 가 불필요한 말을 줄여 더 깔끔하고 효율적인 답변을 하도록 돕는 도구라고 생각하시면 됩니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 이 질문 응답 및 대화에 널리 사용됨에 따라, 생성된 답변의 간결성 (Conciseness) 이 중요한 품질 지표로 부상했습니다. 그러나 현재 LLM 은 종종 불필요한 세부 사항이나 중복된 정보를 포함하여 지나치게 장황하고 verbose 한 답변을 생성하는 경향이 있습니다. 이는 다음과 같은 문제를 야기합니다.

• 사용자 경험 저하: 명확성이 떨어지고 사용자가 정보를 파악하기 어려워집니다.
• 비용 증가: 토큰 수에 따라 과금되는 상용 모델의 경우, 불필요한 토큰 생성은 개발 비용과 운영 비용을 증가시킵니다.
• 평가 도구의 부재: 기존 평가 지표 (BLEU, ROUGE 등) 는 참조 텍스트 (Gold Standard) 에 의존하거나 어휘적 겹침을 측정하여 '장황함'을 직접적으로 포착하지 못합니다. 또한, 인간이 직접 주석을 단 참조 데이터는 비용과 시간이 많이 들어 실용성이 떨어집니다.

2. 제안 방법론 (Methodology: ConCISE)

저자들은 참조 텍스트가 필요 없는 (Reference-Free) 새로운 간결성 평가 지표인 ConCISE를 제안했습니다. 이 방법은 LLM 의 능력을 활용하여 답변에서 '비필수적 (non-essential)'인 콘텐츠를 식별하고 정량화합니다.

ConCISE 점수는 다음 세 가지 계산의 평균으로 도출됩니다:

1. 추상적 요약 압축 비율 (Abstractive Compression Ratio):
   • 원본 답변을 LLM 을 통해 추상적 요약 (Abstractive Summary) 으로 변환합니다.
   • 원본과 요약본의 길이 차이를 계산하여 불필요한 설명이 얼마나 제거되었는지 측정합니다.
2. 추출적 요약 압축 비율 (Extractive Compression Ratio):
   • 원본 답변에서 가장 관련성 높은 문장만 선택하여 추출적 요약 (Extractive Summary) 을 생성합니다.
   • 원본과 추출된 문장 간의 길이 차이를 통해冗余 (중복) 를 측정합니다.
3. 단어 제거 압축 (Word-Removal Compression):
   • LLM 에게 의미와 핵심 사실을 해치지 않는 선에서 불필요한 단어를 최대한 제거하도록 지시합니다 (Pruned Text).
   • 제거된 토큰의 수가 간결성 점수의 핵심 지표가 됩니다.

평가 프로세스:

• 생성된 세 가지 변형 (추상적 요약, 추출적 요약, 가지치기된 텍스트) 이 원본 답변의 의미와 핵심 개체 (Named Entities) 를 보존하는지 LLM 을 통해 검증합니다.
• 최종 ConCISE 점수는 원본 답변 길이 ($|A|$) 대비 각 변형에서 제거된 단어의 비율을 기반으로 계산됩니다.
  • 공식: $ConCISE = \frac{1}{3} \sum (1 - \frac{\text{변형 길이}}{\text{원본 길이}})$
  • (단, 변형이 원본보다 길거나 의미 손실이 발생하면 해당 값은 0 으로 처리)

3. 주요 기여 (Key Contributions)

1. 새로운 참조 없는 지표 제안: 인간이 주석 단 정답 (Gold Standard) 없이도 LLM 생성 답변의 간결성을 정량적으로 평가할 수 있는 최초의 메커니즘 중 하나를 제시했습니다.
2. 실증적 유효성 검증: WikiEval 데이터셋을 활용하여 제안된 메트릭이 인간의 판단과 얼마나 잘 일치하는지 실험을 통해 입증했습니다.
3. 실용적 도구 제공: 대화형 AI 시스템에서 답변의 간결성을 자동 평가할 수 있는 실용적인 프레임워크를 제공하며, 이는 비용 절감과 사용자 만족도 향상에 기여합니다.

4. 실험 결과 (Results)

저자들은 WikiEval 데이터셋을 사용하여 GPT-4o, Claude-4, Gemini-2.0 등 다양한 LLM 을 평가자로 활용하여 실험을 수행했습니다.

• 인간 평가와의 상관관계:
  • ConCISE 점수와 인간이 매긴 5 점 리커트 척도 (Likert Scale) 간의 스피어만 순위 상관관계 (Spearman's $r_s$) 는 0.628 (GPT-4o 기반) 으로 나타났으며, 이는 통계적으로 유의미 ($p < 0.001$) 합니다.
  • 반면, 기존 베이스라인인 'GPT Score'(직접 점수 매기기) 는 인간 평가와 거의 상관관계가 없거나 ($r_s = -0.108$) 부정적인 상관관계를 보였습니다.
• 쌍별 비교 정확도 (Pairwise Comparison Accuracy):
  • 두 개의 답변 중 어떤 것이 더 간결한지 인간이 선택한 것과 메트릭이 선택한 것을 비교했을 때, ConCISE 는 94% 의 정확도로 인간 판단과 일치했습니다.
  • 이는 기존 'GPT Ranking' 방법 (39% 정확도) 보다 월등히 우수한 성능입니다.

5. 의의 및 의의 (Significance)

• 비용 효율성 및 확장성: 정답 데이터 (Ground Truth) 를 준비할 필요 없이 LLM 한 번의 호출만으로 간결성을 평가할 수 있어, 대규모 대화형 AI 시스템의 실시간 모니터링에 적합합니다.
• 편향 해결: 기존 LLM 평가자가 긴 답변을 선호하는 경향 (Length Bias) 을 극복하고, 간결성을 명시적으로 패널티로 작용하도록 설계되었습니다.
• 한계 및 향후 과제:
  • 간결성의 정의는 도메인에 따라 다를 수 있습니다 (예: 금융 규제 공시나 교육적 설명은 장황해 보일 수 있으나 필수적임).
  • 향후 다양한 도메인에 적응 가능한 모델 개발과 더 정교한 프롬프트 전략을 통해 평가의 강건성을 높여야 합니다.

결론적으로, ConCISE 는 LLM 의 장황함을 효과적으로 식별하고 줄이는 데 필수적인 도구로서, 대화형 AI 의 품질 관리와 비용 최적화에 중요한 기여를 할 것으로 기대됩니다.