💬 NLP

Measuring AI "Slop" in Text

본 논문은 전문가 인터뷰를 통해 분류 체계와 해석 가능한 차원들을 개발함으로써 AI '슬롭(slop)'에 대한 표준 정의의 부재를 다루며, 이진적 판단은 주관적일지라도 일관성 및 관련성과 같은 잠재적 요인들과 상관관계가 있음을 입증하여 AI 생성 텍스트의 더 나은 평가를 가능하게 한다.

원저자: Chantal Shaib, Tuhin Chakrabarty, Diego Garcia-Olano, Byron C. Wallace

게시일 2026-01-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chantal Shaib, Tuhin Chakrabarty, Diego Garcia-Olano, Byron C. Wallace

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 거대하고 북적이는 시장이라고 상상해 보세요. 오랫동안 상인들(인간)은 신선하고 정성스럽게 만든 제품을 판매해 왔습니다. 하지만 최근에는 저렴하게 대량 생산된 물건들이 쏟아져 들어오고 있습니다. 멀리서 보면 괜찮아 보이지만, 가까이서 보면 조잡하고, 반복적이며, 알맹이가 없습니다. AI의 세계에서 사람들은 이러한 저품질의 AI 생성 쓰레기를 **"슬롭(slop, 오물/쓰레기)"**이라고 부르기 시작했습니다.

이 논문은 마치 전문가 팀이 이 '슬롭'에 대한 품질 관리 매뉴얼을 만들려는 것과 같습니다. 그들은 두 가지 큰 질문에 답하고자 합니다. 무엇이 텍스트를 "슬롭"처럼 느껴지게 만드는가? 그리고 우리는 이것을 자동으로 식별할 수 있는 기계를 만들 수 있는가?

다음은 이들의 연구 결과를 쉬운 비유를 사용하여 정리한 내용입니다.

1. "슬롭"의 정의 (분류 체계)

연구진은 단순히 추측하지 않았습니다. 그들은 작가, 기자, 철학자, AI 과학자 등 19명의 전문가를 인터뷰하여 명확한 정의를 얻었습니다. 그들은 "슬롭"이 단 한 가지 현상이 아니라, 마치 너무 짜거나, 너무 싱겁거나, 더 dirty한 접시에 담겨 나오는 음식처럼 세 가지 주요 문제의 혼합이라는 것을 깨달았습니다.

그들은 이 문제들을 **분류 체계(Taxonomy)**라는 체크리스트로 정리했습니다:

정보 유용성 (The "Empty Bowl", 빈 그릇):
- 밀도 (Density): 텍스트에 단어는 가득하지만 실제 알맹이는 거의 없는 상태입니다. 마치 국물이 10%이고 물이 90%인 수프와 같습니다.
- 관련성 (Relevance): 텍스트가 질문과 상관없는 이야기를 합니다. 버거를 주문했는데 소의 역사에 대한 강의를 듣는 것과 같습니다.
정보 품질 (The "Spoiled Ingredients", 상한 재료):
- 사실성 (Factuality): 텍스트가 사실을 지어내거나 틀린 정보를 제공합니다 (환각 현상).
- 편향성 (Bias): 인간의 목소리가 있어야 할 곳에 너무 로봇처럼 중립적이거나, 혹은 이상하게 한쪽으로 치우친 입장을 취합니다.
스타일 품질 (The "Bad Presentation", 나쁜 프레젠테이션):
- 반복 및 템플릿화 (Repetition & Templatedness): AI가 같은 말을 계속 반복하거나, 고장 난 레코드판처럼 똑같은 문장 구조를 계속 사용합니다.
- 장황함 (Verbosity): 10단어로 할 수 있는 말을 100단어를 써서 표현합니다. "지혜롭지" 못하고 그저 "말만 많은" 상태입니다.
- 일관성 및 어조 (Coherence & Tone): 아이디어가 논리적으로 흐르지 않거나, 어조가 이상합니다 (예: 로봇이 농담을 하려고 애쓰는 듯한 느낌).

2. 인간 테스트 (슬롭 주석 달기)

그들의 체크리스트가 제대로 작동하는지 확인하기 위해, 전문 카피 에디터들을 고용하여 150개의 뉴스 기사와 100개의 Q&A 지문을 읽게 했습니다. 에디터들에게는 텍스트의 특정 "엉성한(sloppy)" 부분을 강조하도록 요청했습니다.

놀라운 점:
전문가들조차 무엇이 "슬롭"인지에 대해 항상 의견이 일치하지는 않았습니다.

주관성의 문제: 어떤 에디터는 텍스트가 너무 장황해서 슬롭이라고 생각하는 반면, 다른 에디터는 괜찮다고 생각할 수 있습니다.
연결 고리: 하지만 에디터들이 텍스트가 슬롭이라는 데 동의했을 때는, 대개 그 텍스트가 관련성(질문에 답하지 못함)이나 밀도(너무 비어 있음)가 부족했기 때문이었습니다.
도메인의 차이:
- 뉴스에서는 슬롭이 주로 나쁜 스타일과 어조(너무 격식적이거나 반복적인 것)와 관련이 있었습니다.
- Q&A에서는 슬롭이 주로 사실 관계를 틀리거나 구조적으로 엉망인 것과 관련이 있었습니다.

3. 기계가 이를 찾아낼 수 있는가? (자동 검사)

연구진은 현재의 AI 도구들이 인간의 도움 없이 이 슬롭을 자동으로 식별할 수 있는지 테스트했습니다. 그들은 세 가지를 테스트했습니다:

표준 수학적 지표 (Standard Math Metrics): 단어 길이를 세거나 반복되는 단어를 확인하는 등의 전통적인 수학적 도구들을 사용했습니다.
- 결과: 이 도구들은 "장황한" 텍스트를 찾아내는 데는 어느 정도 효과적이었지만, "이것이 관련이 있는가?" 또는 "이것이 말이 되는가?"와 같은 미묘한 부분은 잡아내지 못했습니다.
AI 보상 모델 (AI Reward Models): 글쓰기 품질을 평가하도록 훈련된 고급 AI 모델들을 사용했습니다.
- 결과: 이 모델들은 일반적인 "좋은" 글과 "나쁜" 글의 차이는 구별할 수 있었지만, 인간이 정의한 "슬롭"을 구체적으로 식별하지는 못했습니다. 그들은 미묘한 차이를 놓쳤습니다.
AI 판사 (LLMs as Judges): 강력한 AI 모델(GPT-5 등)에게 텍스트를 읽고 "이것이 슬롭인가?" 그리고 "나쁜 부분을 강조하라"고 요청했습니다.
- 결과: 처참하게 실패했습니다. AI 판사들은 형편없었습니다. 그들은 슬롭을 통째로 놓치거나 엉뚱한 부분을 강조하곤 했습니다. 그들은 오직 "장황함"에만 집중하고 그 외의 다른 요소들은 무시하는 경향을 보였습니다.

결론

이 논문은 "슬롭"이 어떤 모습인지에 대한 인간 중심의 체크리스트(주로 관련성이 없거나, 비어 있거나, 반복적이라는 점)는 잘 갖추어져 있지만, 아직 이를 자동으로 찾아낼 수 있는 신뢰할 만한 로봇은 존재하지 않는다고 결론짓습니다.

현재로서는 텍스트가 "슬롭"인지 알고 싶다면, 여전히 인간이 직접 읽고 판단해야 합니다. 자동화된 도구들은 모래 속에서 큰 돌은 찾아내지만, 숨겨진 작은 보석(혹은 작고 짜증 나는 쓰레기 조각들)은 놓쳐버리는 금속 탐지기와 같습니다.

이 논문이 주장하지 않는 것:

AI 글쓰기를 금지해야 한다고 말하지 않습니다.
이 방법이 미래의 AI를 해결할 것이라고 주장하지 않습니다 (단지 이것이 열려 있는 과제임을 밝힐 뿐입니다).
이를 의료적 또는 법적 결정에 사용하는 것을 제안하지 않습니다.
이 논문은 오직 문제를 정의하고, 현재의 자동화된 솔루션들이 아직 이 문제를 해결할 준비가 되지 않았음을 보여주는 데 집중합니다.

기술 요약: 텍스트 내 AI "슬롭(Slop)" 측정

문제 정의
"슬롭(slop)"이라는 용어는 대규모 언어 모델(LLM)이 생성한 일반적이고 저품질인 콘텐츠를 설명하기 위해 등장했으며, 이는 비사실적 주장, 낮은 정보 밀도, 구조적 특이성을 특징으로 한다. 이 용어는 공적 담론에서 널리 사용되고 있으며, 글쓰기 및 정보 수집 작업에서 AI 사용이 증가함에 따라 그 중요성이 커지고 있음에도 불구하고, "슬롭"을 정의하거나 측정하는 표준화된 방법은 아직 합의되지 않았다. 현재의 AI 텍스트 탐지 방식은 인간과 기계의 기원을 구별하는 데 중점을 두고 있는 반면, "슬롭"은 모든 텍스트 소스에 적용 가능한 품질 지표이다. 또한, 기존의 텍스트 품질 지표(예: BLEU, ROUGE)와 자동 평가 모델은 모호함, 관점의 부재, 또는 구조적 템플릿화와 같이 "슬롭"을 구성하는 구체적인 문체적 및 실질적 결함을 포착하는 데 실패하는 경우가 많다.

방법론
저자들은 "슬롭"을 개념화, 조작화 및 평가하기 위해 다단계 접근 방식을 채택하였다:

분류 체계 개발: NLP, 글쓰기, 저널리즘, 언어학 및 철학 분야의 전문가 19명을 대상으로 한 인터뷰를 통해, 저자들은 "슬롭"에 대한 작동 정의와 분류 체계를 도출하였다. 질적 콘텐츠 분석과 연역적 코딩을 사용하여 전문가의 정의를 측정 가능한 개념으로 매핑하였으며, 이를 세 가지 주제로 범주화하였다:
- 정보 유용성(Information Utility): 밀도(길이 대비 실질적 내용) 및 관련성(과업/프롬프트와의 정렬).
- 정보 품질(Information Quality): 사실성(정확성/환각) 및 편향(필요한 주관성의 존재/부재).
- 문체 품질(Style Quality): 구조(반복, 템플릿화), 일관성, 어조, 유창성, 장황함 및 단어 복잡도.
데이터 수집 및 주석 달기: 이 프레임워크는 두 가지 데이터셋에 대한 스팬(span) 수준의 주석 작업을 통해 검증되었다:
- 뉴스 기사: Russell 등(2025)의 뉴스 기사 150개(인간 작성 vs. Claude 3.5, GPT-4o, o1-pro에 의해 생성된 AI 생성물).
- 검색 증강 질의응답(Retrieval-Augmented QA): MS MARCO에서 추출한 100개의 구절과 Llama-4, OLMo-2, Mistral-7B, GPT-4o, Gemma-2가 생성한 응답.
  전문 카피 에디터들이 특정 "슬롭" 코드를 기준으로 스팬 단위 주석을 달았다. 검토자 간 일치도는 Cohen's $\kappa$ , Gwet's AC1, Krippendorff's $\alpha_{MASI}$ 를 사용하여 측정되었다.
잠재적 차원의 분석: 로지스틱 회귀 모델을 적합시켜 어떤 주석 처리된 스팬 수준의 코드가 이진(binary) "슬롭" 판단을 예측하는지 결정하였다. 연구는 이러한 인간의 판단과 자동화된 지표 사이의 상관관관계를 분석하였다.
자동 측정 평가: 저자들은 다음의 효용성을 평가하였다:
- 선형 모델: 표준 자동 텍ex 지표(예: 압축률, 주관성 어휘 사전, 가독성 점수)를 사용하여 "슬롭"을 예측함.
- 보상 모델: 쓰기 품질 보상 모델(WQRM)을 "슬롭" 레이블과 비교 테스트함.
- LLM-as-a-Judge: GPT-5, Deepseek-V3, o3-mini를 프롬프트하여 제로샷(zero-shot) 및 퓨샷(few-shot) 환경에서 이진 "슬롭" 레이블을 식별하고 "슬롭" 스팬을 추출하도록 함.

주요 결과

주관성 및 일치도: 이진 "슬롭" 판단은 다소 주관적이며, 검토자들은 전체 문서 레이블에 대해 낮은 수준에서 보통 수준의 일치도를 보였다 ( $\kappa \approx -0.15$ ~ $0.29$). 그러나 유병률(prevalence)을 보정한 경우(AC1)와 특정 코드에 집중했을 때는 일치도가 향상되었다. 사실성, 편향, 구조 코드는 신뢰할 수 있는 주석 수준을 달 확보하였다 ($AC1 > 0.5$). 반면, 인지적 부하가 큰 구성 요소인 일관성, 밀도, 관련성은 보통 수준에서 도전적인 일치도를 보였다.
예측 타당성: 주석 처리된 "슬롭" 스팬의 수는 전체 "슬롭" 판단과 강한 상관관계를 보였다 ( $\rho \approx 0.63$ ). 모든 도메인에 걸쳐, 관련성, 밀도, 어조가 텍스트를 "슬롭"으로 레이블링하는 데 가장 강력한 예측 변수였다.
도메인 특이성: 특정 차원의 중요성은 과업에 따라 달라진다. 뉴스 기사의 경우, 문체 품질(일관성, 어조)과 유용성(밀도, 관련성)이 중요하다. QA 과업의 경우, 사실성과 구조가 "슬롭" 판단의 주요 동인이다.
자동화된 방법의 실패:
- 선형 모델: 가용한 자동 지표를 사용한 선형 모델은 유병률 베이스라인보다 약 두 배 높은 AUPRC(뉴스 0.52, MS MARCO 0.55)를 달성했으나, 신호를 완전히 포착하기에는 불충분했다. 특히, 5가지 주요 "슬롭" 특징 중 3가지(관련성, 사실성, 일관성)는 신뢰할 수 있는 자동 지표가 결여되어 있다.
- 보상 모델: WQRM은 "슬롭" 레이블과 부분적으로 일치하지만, "슬롭" 개념을 완전히 포착하지 못하며 이진 "슬롭" 판단과 낮은 상관관계(0.15–0.25)를 보였다.
- LLM 판사: 추론 능력이 있는 LLM(GPT-5, o3-mini)은 "슬롭"을 신뢰성 있게 식별하는 데 실패하였다. 이들은 인간에 비해 "슬롭" 레이블을 현저히 과소 예측하였으며(0.03–0.08 vs. 0.34), 스팬 추출에서도 어려움을 겪었다(정밀도 $\approx$ 0.08–0.14). 또한, LLM은 근거를 제시할 때 "밀도" 문제를 과잉 대표하는 경향이 있는 반면, 일관성, 어조, 편향은 과소 대표하였다.

의의 및 주장
본 논문은 검증된 분류 체계를 통해 LLM 생성 텍스트의 "슬롭"을 질적으로 특성화하려는 최초의 체계적인 시도라고 주장한다. 저자들은 "슬롭"이 단순한 AI 탐지와는 구별되는 개념이며, 인간의 글쓰기에도 적용될 수 있지만 특히 AI 출력물에서 빈번하게 나타나는 품질 측정 지표라고 주장한다.

본 연구는 현재의 자동화된 평가 관행이 "슬롭"을 측정하기에 불충분함을 강조한다. 표준 지표들은 텍스트가 특정 결함(식별된 분류 체계 내의 결함)과 관련하여 진정으로 유용한지 또는 잘 작성되었는지를 포착하는 데 실패한다. 저자들은 식별된 축(정보 유용성, 품질, 문체)을 따른 문제의 증가가 텍스트를 "슬롭"으로 판단할 가능성을 높인다는 것을 입증했으나, "슬롭"을 측정하기 위한 완전 자동화 및 확장 가능한 방법은 여전히 해결해야 할 과제로 남아 있다고 결론짓는다. 제안된 분류 체계는 특히 인간의 선호도 판단이 중요한 주관적 과업에서 향후 LLM 기반 보상 모델 및 품질 평가를 개선하기 위한 가이드라인 역할을 할 것이다.

1. "슬롭"의 정의 (분류 체계)

2. 인간 테스트 (슬롭 주석 달기)

3. 기계가 이를 찾아낼 수 있는가? (자동 검사)

결론

유사한 논문