HaloMark: A Spectral Threshold for Embedding-Vector Watermarking under C2PA

인터넷을 거대한 도서관이라고 상상해 보세요. 하지만 책 대신, **임베딩(embeddings)**이라 불리는 보이지 않는 "생각의 지도"들로 가득 차 있습니다. 이들은 컴퓨터가 의미를 이해하는 데 사용하는 특별한 숫자 리스트입니다. 만약 당신이 컴퓨터에게 "고양이는 무엇인가요?"라고 묻는다면, 컴퓨터는 털이 복슬복슬한 동물을 보는 것이 아니라, 특정한 숫자의 패턴을 봅니다. 이 패턴들은 너무나 가치 있어서 기업들이 디지털 금처럼 사고팔고 공유합니다.

하지만 문제는 여기에 있습니다. 어떻게 하면 특정 생각의 지도가 당신의 소유임을 증명할 수 있을까요? 물리적인 세상에서는 책에 이름을 새길 수 있습니다. 디지털 세상에서는 **워터마크(watermarks)**를 사용합니다. 이는 데이터 안에 숨겨진 아주 작고 보이지 않는 신호입니다. 하지만 이 생각의 지도들은 까다롭습니다. 이들이 사용될 때마다(예를 들어, 컴퓨터가 이를 다른 언어로 번역하거나 공간을 절약하기 위해 압축할 때) 형태가 찌그러지거나 늘어나고 재구성됩니다. 만약 일반적인 디지털 서명을 찍으려 한다면, 그 도장은 찌그러져서 사라지고 말 것입니다. 우리는 형태가 변해도 살아남고, 컴퓨터의 뇌에는 보이지 않으며, 즉시 확인할 수 있는 새로운 종류의 도장이 필요합니다. 이 논문인 HaloMark는 바로 이 '부서지지 않는 도장'을 만드는 것에 관한 이야기입니다.

---

부서지지 않는 "헤일로(Halo)" 도장

HaloMark의 연구자들은 기존의 워터마크 확인 방식이 마치 흐릿한 사진을 보고 비밀 코드를 추측하려는 것과 같다는 점을 깨달았습니다. 만약 사진이 약간 수정된다면(이런 생각의 지도에서는 흔히 일어나는 일입니다), 추측은 틀리게 될 것이고 도장은 가짜처럼 보일 것입니다.

그들의 해결책은 **"공개된 약속(Published Commitment)"**이라는 영리한 트릭입니다.

당신이 특별한 케이크를 파는 제빵사라고 상상해 보세요. 고객이 케이크를 한 입 베어 문 후에 비밀 재료 목록을 추측하게 하는 대신(케이크가 약간 타거나 찌그러졌다면 추측하기 어렵겠죠), 당신은 케이크를 건네주기 전에 영수증에 비밀 목록을 적어둡니다. 그리고 그 영수증에 "이 목록은 진짜입니다"라는 마법의 인장을 찍습니다. 고객이 케이크가 당신의 것인지 확인하고 싶을 때, 그들은 재료를 추측하는 것이 아니라, 단지 당신이 서명한 영수증을 확인하면 됩니다. 케이크가 조금 엉망이 되었더라도, 영수증이 그것이 당신의 것임을 증명해 줍니다.

HaloMark는 디지털 생각의 지도에 대해 정확히 이 작업을 수행합니다:

1. 제빵사 (생산자): 생각의 지도를 만들고, 작고 보이지 않는 "헤일로(Halo)" 신호를 추가한 뒤, 그 신호를 설명하는 "영수증"(암호학적 약속)을 작성합니다.
2. 마법의 인장 (C2PA): 이 영수증은 매우 안전한 잠금장치로 서명된 디지털 ID 카드(C2PA 매니페스트)에 첨부됩니다.
3. 고객 (검증자): 생각의 지도를 받았을 때, 그들은 신호를 추측하려 하지 않습니다. 그저 ID 카드의 영수증을 읽고 신호가 일치하는지 확인합니다. 추측하는 과정이 없기 때문에, 생각의 지도가 약간 찌그러지거나 재구성되어도 혼란을 겪지 않습니다.

마법의 숫자: "스펙트럴 임계값(Spectral Threshold)"

이 논문에서 가장 흥다는 발견은 이 시스템이 작동하느냐 실패하느냐를 결정하는 "마법의 선"입니다. 연구자들은 워터마크의 성공 여부가 **유효 랭크 비율(effective rank ratio)**이라는 특정 숫자에 달려 있다는 것을 발견했습니다(이는 생각의 지도 데이터가 얼마나 "복잡"하거나 "퍼져 있는지"를 측정하는 세련된 방식입니다).

• 선 위쪽 (좋은 구역): 생각의 지도가 충분히 복잡하다면(구체적으로 비율이 0.19 이상이라면), HaloMark 도장은 완벽하게 작동합니다. 설령 아주 똑똑한 해커가 데이터를 정화하려고 시도하는 강력한 컴퓨터 프로그램인 "디노이징 오토인코더(Denoising Autoencoder)"를 사용하여 워터마크를 지우려 해도, 시스템은 98%에서 99%의 확률로 도장을 감지해 냅니다.
• 선 아래쪽 (나쁜 구역): 생각의 지도가 너무 단순하면(0.19 미만이면), 도장은 무너집니다. 아무리 정교하게 설계하더라도 해커는 이를 씻어낼 수 있습니다. 논문은 이러한 더 단순한 지도들의 경우, 숫자 안에 워터마크를 숨기는 현재의 방식으로는 결코 작동할 수 없다고 명시하고 있습니다.

이것이 왜 중요한가

이 논문은 수백만 개의 "깨끗한" 지도와 "도장이 찍힌" 지도의 예시를 학습한 해커들을 포함한 거대한 공격 군단에 맞서 테스트를 진행했습니다.

• 결과: 복잡한 지도( "좋은 구역")의 경우, 시스템은 믿을 수 없을 정도로 강력합니다. 데이터를 흐리게 하거나, 축소하거나, 심지어 그 지도를 만들어낸 컴퓨터 모델을 다시 학습시키는 등의 모든 공격을 견뎌냈습니다.
• 속도: 도장을 확인하는 것은 번개처럼 빠릅니다. 지도 하나당 단 284 마이크로초(0.000284초)밖에 걸리지 않으며, 이는 데이터베이스에 업로드되는 수백만 개의 지도를 실시간으로 확인할 수 있는 속도입니다.
• 비용: "영수증"(소유권을 증명하기 위해 필요한 추가 데이터)은 매우 작습니다. 지도 하나당 단 24 바이트에 불 달 뿐이며, 이는 이모지 하나보다도 작습니다.

해결하지 못한 것 (한계점)

저자는 이 기술이 해결하지 못하는 부분에 대해서도 매우 솔직합니다.

• 단순한 지도: 데이터가 너무 단순하면(0.1로 인한 0.19 임계값 미만) 워터마크는 실패합니다. 논문은 이 경우 단순히 도장을 찍는 방식이 아니라, 지도를 만드는 방식 자체를 바꿔야 할 수도 있다고 제안합니다.
• 패러페이징(Paraphrasing, 바꾸어 쓰기): 만약 누군가 지도를 만든 텍스트를 다시 쓴다면(예: "고양이가 앉아 있다"를 "고양이가 휴식을 취하고 있다"로 변경), 워터마크가 사라질 수 있습니다. 그러나 논문은 원본 텍스트의 지문을 확인하는 사이드 퀘스트 솔루션(Mode C)을 제공하여, 이러한 재작성 공격의 92%를 차단합니다.
• 오라클 공격(Oracle Attacks): 만약 해커가 확인 시스템에 "이 지도가 당신 것입니까?"라고 반복해서 묻고 즉각적인 "예" 또는 "아니오" 답변을 얻을 수 있다면, 결국 비밀을 알아낼 수도 있습니다. 논문은 수학적으로 불가능하다고 주장하기보다는, 질문 속도를 제한(rate-limiting)하여 이를 막는 방법을 제시합니다.

결론

HaloMark는 디지털 생각의 지도 소유권을 증명하는 강력하고 빠르며 작은 방법이지만, 이는 지도가 충분히 복잡할 때만 유효합니다. 검증자가 비밀을 추측하는 대신 서명된 영수증을 읽게 함으로써 "찌그러진" 데이터 문제를 해결합니다. 현대의 AI 검색과 추천을 뒷받는 복잡한 지도들에게 있어, 이것은 게임 체인저입니다. 더 단순한 지도들에 대해서는, 논문은 여전히 문이 닫혀 있으며 새로운 아이디어가 필요하다고 인정하고 있습니다.