From Forensics to Ecosystems: Rethinking Watermarks for Generative AI Oversight

배경: 디지털 소음의 세계

인터넷을 거대하고 북적이는 도시라고 상상해 보세요. 수년 동안 그곳에 사는 사람들(인간)은 이야기를 쓰고, 그림을 그리고, 노래를 불렀습니다. 하지만 최근에 새로운 종류의 거주자가 도착했습니다. 바로 인공지능(AI)입니다. 이 AI 로봇들은 믿기지 않을 정도로 빠르고 저렴하며, 인간이 커피 한 잔을 만드는 시간 동안 수백만 개의 이야기, 이미지, 노래를 쏟아낼 수 있습니다. 이는 "합성 콘텐츠(synthetic content)"라는 거대한 파도를 만들어냈습니다. 실제처럼 보이고 들리지만 기계가 만든 것들 말이죠.

이 홍수는 모두를 걱정시키고 있습니다. 무엇이 진짜이고 무엇이 가짜인지 구별할 수 없다면, 누구를 신뢰해야 할까요? 나쁜 의도를 가진 사람들이 거짓 정보를 퍼뜨리는 것을 어떻게 막을 수 있을까요? 이를 해결하기 위해 전문가들은 **워터마크(watermark)**라고 불리는 "디지털 지문"을 구축하려고 노력해 왔습니다. 워터마크를 공장이 만든 모든 장난감에 찍는 비밀 잉크 도장이라고 생각해보세요. 만약 그 도장을 발견한다면, 당신은 그 장난감이 그 공장에서 왔다는 것을 알게 됩니다. 오랫동안 이 도장들이 완벽한 탐정 도구가 될 것이라는 큰 희망이 있었습니다. 즉, 콘텐츠를 스캔하여 도장을 찾아내고, 즉시 "아하! 이것은 가짜이고, 나는 이것을 차단할 수 있다!"라고 알 수 있게 될 것이라는 기대였습니다. 하지만 AI 로봇들이 점점 더 똑똑해지면서 이 도장들을 보기 어렵게 만들고, 인터넷이 점점 더 시끄러워짐에 따라, 이 "완벽한 탐정"이라는 아이디어는 다소 흔들리기 시작했습니다.

논문의 핵심 아이디어: 탐정에서 기상캐스터로

코넬 대학교 연구진이 작성한 이 논문은 우리가 탐정이 되려고 노력하는 것을 멈추고 기상캐스터가 되어야 한다고 제안합니다.

저자들은 현재 개별적인 가짜 콘텐츠를 잡아내기 위해 워터마크를 사용하는 데 집착하는 것이 허리케인 속에서 단 하나의 특정 빗방울을 찾으려는 것과 같다고 주장합니다. 비평가들은 워터마크가 "취약하고"(쉽게 지워지고), "모호하다"(읽기 어렵다)고 말해왔으며, 만약 당신이 특정한 사진이나 에세이 하나를 식별하려고 하는 것이라면 그들의 말이 대부분 맞습니다. 이 논문은 만약 우리가 워터마마크를 "이 특정 트윗은 가짜다"라고 말하기 위한 법의학적 도구로 계속 사용하려 한다면, 기술이 매번 100% 확신할 만큼 강력하지 않기 때문에 결국 실패할 가능성이 높다고 제안합니다.

대신, 저자들은 새로운 관점인 **생태계 접근법(Ecosystem Approach)**을 제 제안합니다.

당신이 강을 연구하는 과학자라고 상상해 보세요. 강이 건강한지 알기 위해 모든 물고기를 일일이 잡을 필요는 없습니다. 대신, 양동이에 물을 담아 테스트할 수 있습니다. 만약 양동이의 물에 특정 화학 물질이 가득 차 있다면, 당신은 정확히 어떤 물고기가 독을 먹었는지 지목할 수는 없더라도 강 전체가 오염되었다는 것을 알 수 있습니다.

논문은 우리가 워터마크를 같은 방식으로 사용해야 한다고 제안합니다. "이 특정 기사가 AI에 의해 쓰였는가?"라고 묻는 대신, "이 웹사이트 전체에 AI가 얼마나 흐르고 있는가?"라고 물어야 합니다.

작동 원리: "지문" vs "안개"

저자들은 워터마크가 마법 주문이 아니라 실제로는 통계적 신호라고 설명합니다. AI가 이야기를 쓸 때, 단어들에 아주 작고 보이지 않는 패턴을 추가합니다. 탐지기는 이 패턴을 찾습니다.

• 과거의 방식 (법의학): 당신은 에세이 하나를 봅니다. 탐지기가 "이것이 AI일 확률이 68%입니다"라고 말합니다. 그러면 교사는 당황하여 학생을 AI 사용 혐의로 몰아세울 수 있습니다. 하지만 68%는 100%가 아니므로 교사가 틀릴 수도 있습니다. 이것이 논문이 경고하는 "법의학적 함정"입니다.
• **새로운 방식 (생태계): 한 달 동안 학교에 제출된 모든 에세이를 봅니다. 탐지기는 "AI 패턴"이 그중 40%에서 나타나고 있음을 발견합니다. 이제 학교는 특정 학생을 비난할 필요가 없습니다. 그들은 큰 추세를 볼 수 있습니다: "와, 우리 학생들이 AI를 정말 많이 사용하고 있구나." 이는 질문을 "누가 AI를 사용했는가?"에서 "어떻게 수업을 조정해야 AI 사용이 성적을 받는 유일한 방법이 되지 않게 할 것인가?"로 바꿉니다.

논문은 이러한 "안개 낀 듯한" 관점이 실제로 더 유용하다고 제안합니다. 설령 워터마크가 단일 텍스트에서 약하고 쉽게 제거될 수 있다 하더라도, 악의적인 행위자가 자신이 생산하는 모든 것에서 워터마크를 제거하는 것은 매우 어렵기 때문입니다. 따라서 단일 워터마크는 흔들리는 단서일 수 있지만, 수천 개의 워터마크가 모이면 전체 시스템에 대한 명확한 그림을 그려냅니다.

이것이 중요한 이유: 마찰과 신뢰

저자들은 또한 "마찰(friction)"에 대해 이야기합니다. 과거에 기술은 보이지 않고 매끄러운 것을 지향했습니다. 하지만 이제 우리는 기술이 조금은 번거롭기를 원할 수도 있습니다. 만약 음악 스트리밍 서비스가 사용자에게 "이 플레이리스트의 새 노래 중 30%는 AI로 만들어졌습니다"라고 말한다면, 모든 곡을 차단할 필요는 없습니다. 그저 사용자가 "음, 이것을 좀 더 주의 깊게 들어야겠어"라고 생각하게 만드는 작은 "마찰"을 만드는 것입니다.

이 접근법은 모두에게 게임의 판도를 바꿉니다:

• 학교의 경우: 학생들과 "딱 걸렸어!" 식의 고도의 심리전을 벌이는 대신, AI가 학습을 어떻게 변화시키고 있는지 큰 그림을 보고 교수법을 조정할 수 있습니다.
• 음악 플랫폼의 경우: AI가 차트를 점령하고 실제 아티스트를 해치고 있는지 확인할 수 있으며, 이를 통해 개별 곡이 가짜임을 증명할 필요 없이 인간의 창의성을 보호하기 위한 규칙을 조정할 수 있습니다.
• 과학자의 경우: 학술지가 AI로 작성된 논문의 범람을 본다면, 품질을 유지하기 위해 제출 규칙을 변경할 수 있습니다.

주의점: 마법 지팡이는 아니다

논문은 이것이 완벽한 해결책은 아니라는 점을 매우 분명히 하고 있습니다. 워터마크는 여전히 조작될 수 있으며, 모든 종류의 콘텐츠에 작동하지 않을 수도 있습니다. 또한, 만약 우리가 워터마크에 너무 의존한다면, 문제를 해결하지 못했음에도 불구하고 해결했다고 생각하며 안주할 위험이 있습니다. 저자들은 워터마크가 모든 것을 하룻밤 사이에 해결해 줄 실버 불릿(만능 해결책)이 아니라고 경고합니다.

하지만 저자들은 이 "생태계 접근법"이 훨씬 더 현실적인 경로라고 주장합니다. 이는 우리가 모든 개별 가짜 콘텐츠를 잡을 수 없다는 점을 인정하면서도, 문제의 규모를 이해할 수 있는 강력한 도구를 제공합니다. 개별적인 거짓말쟁이를 잡는 것에서 거짓말의 크기를 측정하는 것으로 초점을 전환함으로써, 우리는 더 나은 규칙을 세우고 더 건강한 디지털 세상을 만들 수 있습니다. 논문은 기술에 한계가 있지만, 우리 디지털 생태계의 "날씨"를 측정하는 데 사용하는 것이 합성 콘텐츠의 폭풍 속을 항해하는 스마트하고 실행 가능한 방법이라고 결론짓습니다.