당신에게 사진을 보고 텍스트를 동시에 읽을 수 있는 아주 똑똑한 로봇 비서가 있다고 상상해 보세요. 과학자들은 이들을 "멀티모달 거대 언어 모델(Multimodal Large Language Models, MLLMs)"이라고 부릅니다. 이들은 카메라 렌즈를 통해 세상을 보고 마이크를 통해 동시에 말하는 법을 배운 뇌와 같습니다. 이들은 영수증 사진을 보고 총액을 알려주거나, 여권을 스캔하여 이름을 읽는 것과 같은 작업에 매우 뛰어납니다. 하지만, 친구의 전화번호를 외웠다가 다른 질문을 받았을 때 실수로 내뱉어 버리는 사람처럼, 이 로봇들도 훈련 과정에서 본 사진 속의 개인적인 세부 정보를 (현재 보고 있는 새로운 사진에는 보이지 않더라도) "기억"해낼 때가 있습니다. 이는 우리가 이 로봇들에게 신분증이나 여권 같은 민감한 문서를 다루게 하기 시작하면서 매우 중요한 문제가 되었습니다. 만약 로봇이 이전에 학습한 내용에 기반해 "추측을 너무 잘해서" 당신의 비밀 정보를 맞혀버린다면, 당신의 프라이버시는 위험에 처하게 됩니다.

"Beyond Visual Evidence"라는 제목의 이 논문은 이 로봇들이 비밀을 유출하는 교묘한 방법을 조사합니다. 연구진은 로봇에게 흐릿하거나 부분이 누락된 문서(예: 신분증의 사진이 번져 있는 경우)를 보여주었을 때, 로봇이 단순히 "볼 수 없다"고 말하는 대신, 자신이 학습한 내용을 바탕으로 빈칸을 채우려 한다는 사실을 발견했습니다. 무서운 점은 로봇이 단 하나의 정보만을 추측하는 것이 아니라, 서로 연결된 일련의 비밀들을 한꺼번에 추측한다는 것입니다. 예를 들어, 로봇이 문서 번호를 볼 수 없다면, 이름, 생년월일, 문서 번호를 함께 추측할 수 있는데, 이는 훈련 데이터에서 이 세 가지가 보통 함께 나타난다는 것을 배웠기 때문입니다. 저자들은 이를 "관계적 프라이버시 유출(relational privacy leakage)"이라고 부릅니다. 이를 해결하기 위해, 그들은 DRUF(Dynamic Relational Unlearning Framework)라는 새로운 훈련 방법을 개발했습니다. 이것은 마치 학생에게 특정 사실 하나를 "잊으라"고 말하는 대신, 연결된 사실들 사이의 정신적 연결 고리를 끊는 법을 가르치는 엄격한 선생님과 같습니다. 또한, 다양한 로봇들이 얼마나 쉽게 비밀을 유출하는지 확인하기 위해 DocPrivacyBench라는 새로운 테스트를 만들었습니다. 실험 결과, 현재의 로봇들은 시각적 단서가 약할 때 이 연결된 비밀들을 유출하는 데 매우 능숙하지만, 새로운 방법인 DRUF는 로봇이 문서를 읽는 본연의 업무를 제대로 수행하면서도 유출을 거의 완벽하게 차단할 수 있음을 보여주었습니다.

문제점: 로봇이 너무 잘 맞힐 때

이야기는 문서를 읽도록 설계된 특정 종류의 로봇에서 시작됩니다. 이들은 "문서 MLLM(document MLLMs)"입니다. 당신이 로봇에게 운전면허증 사진을 건네준다고 상상해 보세요. 로봇은 사진을 보고 텍스트를 찾아내어 이름, 생년월일, 면허 번호를 알려주어야 합니다. 이를 핵심 정보 추출(Key Information Extraction, KIE)이라고 합니다. 보통 로봇은 이미지의 픽셀을 보고 답을 찾습니다. 하지만 이미지가 좋지 않다면 어떻게 될까요? 사진이 흐릿하거나, 글자가 손가락에 가려져 있거나, 혹은 그냥 하얀 빈 사각형이라면 어떻게 될까요?

연구진은 시각적 증거가 약하거나 없을 때, 이 로봇들이 멈추지 않는다는 것을 발견했습니다. 대신, 이들은 다른 모드로 전환합니다. 바로 자신이 기억한 패턴을 바탕으로 추측하기 시작하는 것입니다. 만약 로봇이 수천 개의 훈련 사례를 통해 "John Smith"라는 이름이 "면허 번호 12345", "1990년생"과 거의 항상 짝을 이룬다는 것을 배웠다면, 로봇은 보고 있는 사진이 완전히 빈 화면일지라도 이 세 가지를 한꺼번에 출력할 수 있습니다.

이는 이전의 프라이버시 우려와는 다릅니다. 이전에는 로봇에게 적절한 질문을 했을 때 실수로 비밀 이름을 말할까 봐 걱정했습니다. 하지만 이 논문은 더 위험한 새로운 위험, 즉 **관계적 유출(Relational Leakage)**을 보여줍니다. 단순히 하나의 비밀이 새 나가는 것이 아니라, 서로 연결된 비밀의 전체 '사슬'을 드러내는 것이 문제입니다. 이는 마치 마술사가 모자에서 토끼를 꺼내라는 요청을 받았을 때, 기억 속에 항상 함께 있었던 토끼, 모자, 지팡이, 그리고 조수의 집 주소까지 한꺼번에 꺼내 버리는 것과 같습니다.

조사: DocPrivacyBench

이 현상을 증명하기 위해 저자들은 DocPrivacyBench라는 새로운 테스트 환경을 구축했습니다. 그들은 로봇이 실제로 문서를 볼 수 없을 때 비밀을 유출하는지 확인하고자 했습니다.

그들은 두 가지 주요 방식으로 로봇을 테스트했습니다:

1. 이미지 기반(Image Driven): 로봇에게 문서 사진을 보여준 뒤, 질문은 그대로 유지한 채 사진을 빈 흰색 이미지(또는 흐릿한 덩어리)로 교체했습니다. "문서 번호가 무엇입니까?"라고 물었을 때, 로봇은 시각적 단서가 없으므로 기억에서 추측하여 답변하게 됩니다.
2. 프롬프트 기반(Prompt Driven): 이미지는 유지하되, 질문을 까다롭게 바꾸어 로봇이 사진만으로는 알 수 없는 정보를 드러내도록 유도했습니다.

그들은 세 가지 서로 다른 신분증 및 여권 데이터셋을 사용하여 세 가지 인기 있는 로봇 모델(LLaVA-1.5-hf, Xgen-Phi3, Idefics2)을 테스트했습니다. 결과는 놀라웠습니다. 시각적 증거가 사라졌을 때, 로봇들은 비밀을 추측하는 데 매우 능숙했습니다.

예를 들어, 노이즈가 있는 데이터셋에서 LLaVA-1.5-hf 모델은 빈 이미지를 보여주었을 때 (낮은 유사도 임계값인 Acc@0.8 기준으로) 유출률이 1.000(즉, 100% 확률로 정확한 비밀을 맞힘)을 기록했습니다. 더욱 놀라운 점은, "노이즈"가 섞인 IDNet 데이터셋으로 테스트했을 때, Acc@0.8 지표에서 유출률이 1.000까지 치솟았다는 것입니다. 이는 명확한 사진이 없을 때, 로봇이 이름과 문서 번호, 생년월일을 완벽하게 연결하며 훈련 데이터에서 외운 내용을 그대로 읊고 있었다는 것을 의미합니다.

또한 논문은 훈련 데이터의 품질이 중요하다는 점을 발견했습니다. 훈련 데이터가 "노이즈가 많을수록"(품질이 낮을수록), 로봇은 기억된 연결 고리에 더 많이 의존하여 프라이버시 위험이 높아졌습니다. 이는 로봇이 배우는 데이터가 지저도록 할수록, 빈틈을 메우기 위해 추측에 더 많이 의존하게 되어 프라이버시에 나쁜 영향을 미친다는 것을 시사합니다.

해결책: DRUF

그렇다면 어떻게 로봇이 이러한 연결된 비밀들을 추측하는 것을 막을 수 있을까요? 단순히 "John Smith"라는 이름을 잊으라고 할 수는 없습니다. 왜냐하면 로봇은 일반적인 이름을 읽는 법은 여전히 알아야 하기 때문입니다. 또한 "12345"라는 번호만 잊으라고 할 수도 없습니다. 문제는 그 둘 사이의 연결입니다.

저자들은 DRUF(Dynamic Relational Unlearning Framework)라는 새로운 방법을 제안했습니다. 이는 정답지를 계속 참고하는 학생을 가르치는 상황을 상상해 보세요. 정답지에서 특정 답 하나를 지우는 대신, "질문 A"와 "답 B" 사이의 연결이 가짜라는 것을 가르쳐야 합니다.

DRUF는 두 단계로 작동합니다:

1. 동적 망각 집합(Dynamic Forget Set): 먼저, 시스템은 로봇을 조사하여 현재 어떤 특정 비밀 쌍(pair)을 유출하고 있는지 파악합니다. 오늘은 "이름 + 문서 번호"를 유출할 수도 있고, 내일은 "이름 + 생년월일"을 유출할 수도 있습니다. 무엇을 잊어야 할지 추측하는 대신, DRUF는 로봇을 관찰하여 실제로 유출되는 것을 보고 그에 따른 "망각 리스트"를 만듭니다. 이 리스트는 로봇이 학습함에 따라 동적으로 변합니다.
2. 관계적 디커플링(Relational Decoupling, RDU): 이것이 핵심입니다. 로봇이 이 "망각 리스트"로부터 학습할 때, DRUF는 단순히 틀린 이름을 말한 것에 대해 벌을 주는 것이 아닙니다. DRU는 로봇이 그 *쌍(pair)*을 함께 말하는 것에 대해 벌을 줍니다. 특수한 수학적 기법("곱셈 결합")을 사용하여, 로봇이 이름과 문서 번호를 동시에 출력하려고 하면 큰 패널티를 받도록 만듭니다. 이는 두 비밀을 붙잡고 있는 정신적 접착제를 끊어버립니다.

이 새로운 방법의 결과는 인상적이었습니다. LLaVA-1.5-hf 모델에 DRUF를 적용했을 때:

• "이미지 기반" 테스트(빈 이미지를 보여준 경우)에서 유출률을 0.642에서 0.001로 줄였습니다. 이는 거의 99.8% 감소한 수치입니다.
• "프롬프트 기반" 테스트에서의 유출률은 0.000으로 줄었습니다.
• 결정적으로, 이 방법은 로봇의 본래 업무 능력을 망가뜨리지 않았습니다. 로봇은 여전히 명확한 문서를 완벽하게 읽을 수 있었으며, 성능 점수(LC)는 원래 모델의 0.852에 매우 근접한 0.808을 기록했습니다.

다른 방법들도 이를 해결하려 노력했지만 문제가 있었습니다. 어떤 방법들(GA 등)은 유출은 막았지만 로봇의 문서 읽기 성능을 형편없이 떨어뜨렸습니다(성능이 0.119로 급락). 또 다른 방법들(DPO 등)은 로봇의 지능은 유지했지만 유출을 막는 데 실패했습니다(유출률이 0.633으로 높게 유지됨). DRUF만이 유출을 막으면서도 로봇을 똑똑하게 유지할 수 있는 유일한 방법이었습니다.

이것이 왜 중요한가

이 논문은 "관계적 유출"이 실제적이고 흔한 문제라는 결론을 내립니다. 시각적 증거가 약해지면, 로봇은 패턴을 알고 있다고 판단될 경우 기꺼이 당신의 개인 정보를 추측해 버립니다. 저자들은 기존 방식들이 단일 사실을 잊게 하는 데 집중하기 때문에, 연결된 사실들 사이의 링크를 끊는 데 한계가 있음을 보여주었습니다.

DRUF를 사용함으로써, 우리는 이러한 연결된 비밀들을 추측하지 못하도록 로봇을 가르칠 수 있습니다. 이 논문은 이러한 접근 방식이 문서 처리 로봇을 현실 세계에서 안전하게 사용하기 위한 필수적인 단계임을 시사합니다. 우리가 AI에게 여권이나 신분증을 맡기고자 한다면, 문서를 제대로 볼 수 없을 때 AI가 학습한 내용을 바탕으로 당신의 인생 이야기를 마음대로 지어내지 못하도록 확실히 보장해야 합니다. 저자들은 이 연구가 모든 종류의 구조화된 문서 작업에 대한 더 나은 프라이버시 도구로 이어지기를 희망하고 있습니다.

요약하자면, 이 논문은 로봇이 시각적 증거가 없을 때 연결된 비밀을 너무 잘 추측한다는 문제를 발견했으며, 동시에 그 연결 고리를 끊어 로봇의 지능을 유지하면서도 데이터를 안전하게 보호하는 방법을 찾아냈습니다.