Bye Bye Perspective API: Lessons for Measurement Infrastructure in NLP, CSS and LLM Evaluation
본 논문은 NLP 및 LLM 연구가 현재 폐쇄 중인 독점적 Perspective API 에 구조적으로 의존하고 있음을 비판하며, 그 불투명한 업데이트와 독단적인 폭력성 조작이 재현 불가능한 결과를 초래했음을 지적하고, 향후 유사한 인식론적 위험을 방지하기 위해 독립적이고 타당하며 재현 가능한 측정 인프라의 구축을 요구한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인터넷을 상상해 보세요. 수백만 명의 사람들이 매초마다 외치고, 다투고, 이야기를 나누는 거대하고 혼란스러운 광장입니다. 이 광장이 완전한 혼란으로 치닫지 않도록 하기 위해 연구자들은 악의적이고 혐오스럽거나 유해한 외침을 자동으로 식별할 수 있는 방법이 필요했습니다.
거의 10 년 동안, 이 광장 전체는 이 일을 수행하기 위해 Perspective API라는 단일 무료 도구에 의존했습니다. 이는 한 기술 기업 (구글의 Jigsaw) 이 소유한 보편적인 '유해성 측정계'와 같았습니다. 모두가 이를 사용하여 사람들이 얼마나 무례한지 측정하고, 새로운 AI 채팅봇이 얼마나 '안전한지' 등급을 매기며, 온라인 행동을 연구했습니다.
이제 이 측정계의 소유주는 2026 년 말에 이를 종료한다고 발표했습니다. 이 논문은 도구를 잃는 것이 슬프지만, 진정한 문제는 전체 연구 커뮤니티가 자신이 소유하지도, 이해하지도, 고칠 수도 없는 기초 위에 집을 지었다는 점이라고 주장합니다.
다음은 이 논문의 주장을 간단한 비유로 정리한 것입니다:
1. '블랙박스' 측정계
생필품을 저울질하기 위해 저울을 산다고 상상해 보세요. 무료이고 다른 모든 사람이 사용하므로 이를 신뢰합니다. 하지만 당신은 깨닫습니다:
- 소유주가 무게를 바꿉니다: 몇 달마다 한 번씩, 회사가 사용자에게 알리지 않고 저울의 내부 스프링을 몰래 교체합니다. 어느 날 5 파운드 사과 한 봉지는 5 파운드로 측정되지만, 다음 날에는 6 파운드가 되는데도 저울은 여전히 "5"라고 표시합니다.
- 지침은 모호합니다: 회사는 "이것은 '나쁨'을 측정합니다"라고 말합니다. 하지만 그들이 '나쁨'이 무엇인지 설명하지는 않습니다. 큰 목소리일까요? 무례한 단어일까요? 특정 유형의 모욕일까요? 그들은 그저 0 에서 1 사이의 숫자를 주고 "너무 높은 것은 당신이 결정하세요"라고 말합니다.
- 맥락이 없습니다: 이 저울은 사과를 고립된 상태로만 저울질합니다. 사과가 누군가에게 던져진 것인지 (유해한), 아니면 누군가가 사과에 대해 농담을 한 것인지 (유해하지 않은) 는 알지 못합니다. 이 저울은 모든 문장을 마치 진공 상태에 떠 있는 것처럼 취급합니다.
2. '순환'의 덫
측정계가 사용하기 너무 쉬웠기 때문에, 연구자들은 다른 컴퓨터들을 유해성 탐지 기계로 훈련시키기 위해 이를 사용하기 시작했습니다.
- 순환: 그들은 Perspective API 를 사용하여 데이터를 라벨링했습니다 (예: "이 문장은 유해함"). 그런 다음, 그 데이터로 새로운 AI 모델을 훈련시켰습니다. 마지막으로, 새로운 모델들이 Perspective API 와 일치하는지 확인함으로써 그 모델들을 테스트했습니다.
- 문제점: 이는 학생이 시험을 본 후, 정답지를 이용해 스스로 채점하고, 100 점을 맞았다는 이유로 자신이 천재라고 주장하는 것과 같습니다. 그들은 '유해성'을 측정한 것이 아니라, "구글의 현재 유해성 정의에 얼마나 잘 동의하는가"를 측정했을 뿐입니다.
3. 숨겨진 편향
이 측정계가 맥락이나 문화를 이해하지 못했기 때문에, 연구자들이 보거나 고칠 수 없는 일관된 실수를 저질렀습니다:
- 피해자를 처벌함: 소수 집단이 사용하는 단어 (재취득된 비속어나 LGBTQ+ 관련 용어 등) 를 유해하다고 표시하는 경우가 많았습니다. 누가 왜 그 말을 했는지 알지 못했기 때문입니다.
- 진짜 혐오를 놓침: 표면적인 무례한 단어만 찾았기 때문에 미묘하고 암호화된 혐오 표현은 놓쳤습니다.
- 언어 편향: 독일어 텍스트가 영어 텍스트보다 더 무례해서가 아니라, 모델을 훈련시킨 사람들이 다른 문화적 편향을 가지고 있었기 때문에 독일어 텍스트에 훨씬 더 엄격했습니다.
4. '갑작스러운 종료' 충격
회사가 API 종료를 발표했을 때, 그들은 매뉴얼, 백업, 또는 버전 기록을 남겨두지 않았습니다.
- 결과: 지난 10 년 동안 이 도구에 의존해 작성된 모든 연구 논문은 이제 '재현 불가능'이 되었습니다. 오늘 동일한 실험을 시도해도 같은 결과를 얻을 수 없습니다. 그들이 측정에 사용했던 '자'가 더 이상 존재하지 않기 때문입니다. 이는 녹여버린 자로 건물의 높이를 재려는 것과 같습니다.
5. 경고: 측정계를 단순히 교체하지 마십시오
저자들은 가장 쉬운 해결책인 다른 대형 기술 기업 (OpenAI 등) 의 새로운 폐쇄형 도구를 사용하는 것이 함정이라고 경고합니다.
- 위험: 이러한 새로운 도구들도 역시 '블랙박스'입니다. 이들은 더 투명하지 않을 수 있으며, 착취된 노동자들로부터 수집된 데이터로 훈련되었고, 경고 없이 업데이트될 수 있습니다. 우리가 하나의 블랙박스를 다른 블랙박스로 단순히 교체한다면, 우리는 같은 실수를 반복하는 것입니다.
해결책: 우리 자신의 자를 만드십시오
이 논문은 연구 커뮤니티가 측정을 다른 사람이 제공하는 '서비스'로 취급하는 것을 멈추고, 대신 자신들의 인프라를 구축해야 한다고 호소합니다. 이 새로운 시스템은 다음을 갖추어야 합니다:
- 오픈 소스: 누구나 작동 방식을 보고 수학을 확인할 수 있어야 합니다.
- 맥락 인식: 누가 말하고 있는지, 누구와 대화하는지, 대화의 역사가 무엇인지 알아야 합니다.
- 커뮤니티 참여: '유해성'의 정의는 한 기업이 결정해서는 안 되며, 측정 대상이 되는 커뮤니티들이 참여해야 합니다.
- 투명성: 데이터가 어떻게 라벨링되었고, 누가 라벨링했는지 정확히 알아야 합니다.
요약하자면: 이 논문은 인간 행동을 측정하기 위해 단일 비밀 기업 도구에 의존하는 것이 실수였다고 주장합니다. 그 도구의 폐쇄는 경각심을 일깨우는 신호입니다. 연구자들은 기업 도구의 수동적인 사용자가 되는 것을 멈추고, 중요한 것을 측정할 수 있는 자신들의 개방적이고 공정하며 투명한 방식을 구축해야 합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.