Lossy Compression, Realism, and Coordination

당신은 배터리가 아주 조금 남은 무전기로 친구에게 비밀 메시지를 보내려고 한다고 상상해 보세요. 모든 것을 말할 수는 없기에, 중요하지 않다고 생각되는 세부 사항들은 생략해야 합니다. 이것이 바로 **손실 압축(lossy compression)**의 핵심입니다. 즉, 나머지 정보를 빠르게 보내기 위해 중요하지 않다고 생각되는 정보를 버리는 기술이죠. 수십 년 동안 과학자들은 이 완벽한 균형을 찾기 위해 "율-왜곡 이론(rate-distortion theory)"이라는 규칙책을 사용해 왔습니다. 그 규칙은 간단했습니다. 메시지를 원래 상태와 최대한 가깝게 유지하는 것이었죠. 만약 사진을 보내는 것이라면, 픽셀이 원본과 정확히 일치하기를 원했을 것입니다.

하지만 여기 함정이 있습니다. 공간을 아끼기 위해 규칙을 너무 엄격하게 따르다 보면, 사진이 이상해 보일 때가 있습니다. 흐릿해지거나, 색감이 평평해지거나, 질감이 플라스틱처럼 보일 수도 있죠. 기술적으로는 원본과 "가깝지만", 그것이 진짜처럼 느껴지지는 않습니다. 여기서 **실재감(realism)**이라는 새로운 개념이 등장합니다. "이 픽셀이 이전 픽셀과 똑같은가?"라고 묻는 대신, "이것이 실제 사진처럼 보이는가?"라고 묻는 것입니다. 이것은 고양이 그림을 그리는 것과 같습니다. 만약 당신이 머리를 위해 완벽한 원을 그린다면, 그것은 수학적으로는 실제 고양이 머리와 가깝겠지만, 풍선처럼 보일 것입니다. 하지만 약간 불완전하고 푹신한 모양을 그린다면, 그것이 원본의 정확한 선과 일치하지 않더라도, 그것은 고양이처럼 보일 것입니다.

당신이 읽게 될 이 논문은 수학적 정확성과 자연스러워 보이는 것 사이의 이러한 긴장 관계를 탐구합니다. 또한 놀라운 비밀 하나를 발견합니다. 사진이 실재감 있게 보이도록 만드는 데 필요한 수학이, 두 로봇이 말을 거의 나누지 않고도 협력하도록 만드는 데 필요한 수학과 거의 동일하다는 사실입니다. 컴퓨터에게 "실재적인" 이미지를 흉내 내도록 가르치는 것과, 두 대의 드론에게 "협력적인" 비행 경로를 짜도록 가르치는 것은 사실 동전의 양면과 같다는 것이 밝혀졌습니다.

---

위대한 실재감 탈취: 복사하는 것보다 속이는 것이 더 나을 때

오랫동안 압축의 목표는 완벽한 복사기가 되는 것이었습니다. 만약 노을 사진이 있다면, 컴퓨터의 임무는 파일 크기를 줄인 후 모든 픽셀이 원본과 일치하도록 사진을 재건하는 것이었습니다. 문제는 무엇이었을까요? 공간을 절약하기 위해 컴퓨터는 종종 거친 가장자리들을 매끄럽게 다듬어야 했습니다. 그 결과, 기술적으로는 색상은 맞지만 흐릿하고 생동감이 없는, 마치 비에 젖은 수채화처럼 변해버린 노을을 얻게 되었습니다.

이 논문의 저자인 야신 함디(Yassine Hamdi)와 데니즈 군두즈(Deniz Gündüz)는 우리가 새로운 목표를 가져야 한다고 주장합니다. 정확한 픽셀을 복사하려 하는 대신, 그 *분위기(vibe)*를 복사해야 한다는 것입니다. 그들은 이를 **실재감(realism)**이라고 부릅니다. 실재적인 재구성물은 반드시 원본과 픽셀 단위로 일치할 필요는 없습니다. 단지 그것이 실제 사진일 수 있을 것처럼 보여야 합니다. 만약 당신이 실재적인 재구성물을 사람에게 보여준다면, 그들은 그것을 진짜 사진과 구별할 수 없어야 합니다.

이를 위해 논문은 **율-왜곡-지각(Rate-Distortion-Perception, RDP)**이라는 세 갈래의 줄다리기를 소개합니다.

1. 율(Rate): 당신이 보낼 수 있는 비트(단어)의 양입니다.
2. 왜곡(Distortion): 새로운 이미지가 이전 이미지와 얼마나 다른지를 나타냅니다.
3. 지각(Perception): 새로운 이미지가 얼마나 "실제처럼" 보이는지를 나타냅니다.

여기서 큰 놀라움은, 이 모든 것을 동시에 가질 수는 없다는 점입니다. 만약 당신이 매우 실재적인 사진(높은 지각)을 요구한다면, 종종 원본과 다소 달라지는 것(높은 왜곡)을 받아들여야 합니다. 이는 유명한 레스토랑의 요리와 똑같은 맛을 내려고 노력하는 요리사와 같습니다. 만약 그들이 정확히 같은 재료를 사용한다면(낮은 왜곡), 돈이 부족해질 수 있습니다(높은 율). 만약 돈을 아끼기 위해 저렴한 재료를 사용한다면(낮은 율), 맛이 떨어질 수 있습니다. 하지만 만약 그들이 정말로 그 맛을 내고 싶다면(높은 지각), 레시피를 약간 바꾸는 비밀스러운 향신료를 사용해야 할 수도 있습니다. 기술적으로는 다르지만 아주 맛있는 음식이 되는 것이죠.

로봇 댄스: 놀라운 쌍둥이

이야기는 여기서 더욱 흥미로워집니다. 저자들은 "실재적인" 가짜 이미지를 만드는 이 문제가 **분산 협력(distributed coordination)**이라 불리는 문제와 수학적으로 동일하다는 것을 깨달았습니다.

두 대의 드론이 숲속을 날고 있다고 상상해 보세요. 그들은 영역 전체를 커버하기 위해 협력해야 하지만, 서로에게 보낼 수 있는 메시지는 아주 짧은 텍xt 메시지뿐입니다. 전체 지도를 보낼 수는 없습니다. 따라서 드론 A는 드론 B에게 아주 작은 코드를 보내야 하고, 드론 B는 다음에 어디로 날아갈지 결정해야 합니다. 목표는 그들이 서로 충돌하지 않고 최대한 많은 지면을 커버할 수 있도록 완벽하게 협력하는 것입니다.

논문은 드론들이 협력하도록 만드는 수학이 실재적인 이미지를 만드는 수학과 거의 동일하다는 것을 보여줍니다.

• 이미지 문제에서: 당신은 출력값(가짜 사진)이 실제 카메라로부터 나온 것처럼 보이기를 원합니다.
• 드론 문제에서: 당신은 출력값(드론 B의 비행 경로)이 드론 A의 경로와 일치하도록 계획된 것처럼 보이기를 원합니다.

저자들은 이미지 문제를 위한 수학 방정식의 단어들을 바꾸면, 두 문제가 쌍둥이가 된다는 것을 발견했습니다. 이미지 문제에서는 출력값의 분포를 원본(source)과 일치시키려 노력하는 것이고, 드론 문제에서는 입력과 출력의 결합 분포를 목표 계획에 일치시키려 노력하는 것입니다. 이는 완벽한 케이크를 굽는 레시피가 완벽한 다리를 건설하는 레시피와 재료만 다를 뿐 똑같다는 사실을 깨닫는 것과 같습니다.

비밀 재료: 공통 무작위성 (Common Randomness)

여기 한 가지 반전이 더 있습니다. 실재적인 이미지나 협력하는 드론을 완벽하게 작동시키기 위해서는 **공통 무작위성(Common Randomness, CR)**이라는 것이 필요합니다.

CR을 송신자와 수신자가 대화를 시작하기도 전에 이미 가지고 있는 비밀 코드북이라고 생각해 보세요. 이는 마치 두 명의 스파이가 만나기 전에 무작위 숫자 생성기를 미리 약속해 두는 것과 같습니다. 송신자가 메시지를 보내고 싶을 때, 그들은 이 공유된 무작위성을 사용하여 특정 "가짜" 이미지나 비행 경로를 선택합니다.

논문은 이 공유된 무작위성 없이는 높은 수준의 실재감이나 협력을 달eros할 수 없음을 증명합니다. 실제로 수학적 계산에 따르면, 공유된 무작위성의 양은 실제로 전송하는 메시지보다 훨씬 더 많아야 할 수도 있습니다. 이는 "왼쪽으로 가라"라는 단 하나의 텍스트 메시지를 보내기 위해 방대한 양의 무작위 숫자 도서관이 필요한 것과 같습니다.

이것은 현실 세계의 한 가지 수수께끼를 설명해 줍니다. 왜 우리가 오늘날 사용하는 AI 이미지 생성기들이 거대한 비밀 코드를 필요로 하지 않는 것처럼 보일까요? 논문은 아마도 우리가 현재 "실재감"을 측정하는 방식이 충분히 엄격하지 않기 때문일 수 있다고 제안합니다. 만약 우리가 한 번에 몇 개의 이미지만 확인한다면 비밀 코드가 필요 없을 수도 있습니다. 하지만 만약 수많은 이미지 묶음을 한꺼번에 확인하여 그것들이 실재하는지 검사한다면, 비밀 코드는 절대적으로 필요해질 것입니다.

이것이 미래에 의미하는 바

이 논문은 단순히 수학적 퍼즐을 푸는 데 그치지 않고, 새로운 아이디어로 가는 문을 엽니다. (실재적인 이미지를 만드는 것과) 로봇을 협력시키는 두 문제가 매우 유사하기 때문에, 과학자들은 한 쪽에서 만든 도구를 다른 쪽을 해결하는 데 사용할 수 있습니다.

예를 들어, 논문은 **배치 비평가(batched critics)**라는 새로운 방식으로 실재감을 테스트하는 방법을 제안합니다. 하나의 이미지만 보고 "이것이 진짜처럼 보이는가?"라고 묻는 대신, 이미지 묶음 전체를 한꺼번에 보고 판단하는 것입니다. 충분히 많은 이미지를 본다면, 단일 이미지가 숨기고 있는 패턴을 잡아낼 수 있습니다. 저자들은 이와 똑같은 아이디어를 드론에도 적용할 수 있다고 제안합니다. 즉, 두 대의 드론이 협력하는지 단 한 번만 확인하는 것이 아니라, 그들의 전체 이동 기록이 협력적인 모습을 보이는지 확인하는 것입니다.

논문은 이 연결 고리가 황금알을 낳는 거위라고 결론짓습니다. "실재를 흉내 내는 것"과 "행동을 협력시키는 것"이 같은 게임이라는 것을 이해함으로써, 우리는 스마트폰을 위한 더 나은 압축 시스템과 로봇이 더 효율적으로 협력할 수 있는 더 똑똑한 방법을 발명할 수 있습니다. 이는 과학에서 때때로 가장 유용한 발견은, 완전히 다르다고 생각했던 두 가지가 사실은 아주 친한 친구라는 사실을 깨닫는 데서 온다는 점을 상기시켜 줍니다.