When Safety Overrides Vision: Exploring Dynamics between Vision Influence and Safety Alignment in Vision-Language Models

급격히 진화하는 인공지능 세계에서, 보고 동시에 말할 수 있는 새로운 형태의 시스템이 등장했습니다. 시각-언어 모델(vision-language models)로 알려진 이 기계들은 사진을 보고 인간 관찰자처럼 무엇이 보이는지에 대해 질문에 답하도록 설계되었습니다. 이들은 엄격한 안전 규칙을 준-수하면서 복잡한 시각적 환경을 탐색할 수 있는 유능한 조수가 되도록 훈련되고 있습니다. 목표는 단순히 똑똑할 뿐만 아니라 신중한 시스템을 만드는 것입니다. 즉, 증거가 불분명할 때 추측하거나 사실을 지어내지 않고 거절하도록 하는 것입니다. 이러한 유능함과 안전함 사이의 균형은 개발자들에게 핵심적인 과제입니다. 그들은 기계가 무언가를 보았을 때 입을 열기를 원하지만, 확실하지 않을 때는 침묵을 지키게 하여 오정보를 퍼뜨리거나 안전 정책을 위반하지 않도록 하고 싶어 합니다.

그러나 인도 공과대학교 델리(IIT Delhi) 연구진의 최근 조사에 따르면, 이 기계들이 생각하는 방식에서 기묘한 결함이 발견되었습니다. 연구진은 안전을 중시하는 모델들에게 주의를 기울이라는 특정 지침을 내렸을 때, 정답이 사진 속에 명확히 보임에도 불구하고 질문에 답변하기를 거부하는 경우가 많다는 것을 발견했습니다. 이는 마치 기계가 눈은 완벽하게 맑지만, 보지 못해서가 아니라 지나치게 조심하도록 훈련되었기 때문에 입을 다물기로 선택한 것과 같습니다. 연구진은 이러한 침묵의 순간 동안 컴퓨터의 "두뇌" 내부에서 어떤 일이 일어나고 있는지 이해하고자 했습니다. 그들은 안전 지침이 기계의 시각적 증거를 가리고 있는 것인지, 아니면 기계가 정답을 완벽하게 보고 있지만 안전을 이유로 말하지 않기로 결정한 것인지를 알고 싶었습니다.

답을 찾기 위해 연구팀은 다양한 고급 모델들을 광범위한 이미지와 질문 모음으로 테스트했습니다. 그들은 각 테스트를 두 번씩 실행했습니다. 첫 번째 시나리오에서는 모델들에게 정상적으로 답변하도록 요청했습니다. 두 번째로는 모델들에게 본 것이 확실할 때만 말하라는 엄격한 안전 지침을 추가했습니다. 결과는 놀라웠습니다. 일반적인 지침 아래에서 모델들은 사물을 정확히 식별하고 장면을 묘사했습니다. 하지만 안전 지침이 추가되자, 동일한 모델들이 이미지가 전혀 바뀌지 않았음에도 불구하고 정답이 "보이지 않음"이라거나 정답을 결정할 수 없다고 주장하며 빈번하게 답변을 멈췄습니다. 이러한 행동은 서로 다른 유형의 모델과 서로 다른 이미지 세트에서 일관되게 나타났으며, 이는 기계가 정보를 처리하는 방식에 근본적인 변화가 생겼음을 시사합니다.

그 후 연구진은 결정의 순간에 모델 내부에서 어떤 일이 벌어지는지 들여다보았습니다. 그들은 모델이 이미지를 처리하고 응답을 생성하기 시작할 때 정보의 흐름을 추적했습니다. 그들은 안전 지침이 기계의 기억 속에서 시각적 세부 사항을 지워버린 흔적을 찾고 있었습니다. 만약 안전 규칙이 모델을 눈멀게 했다면, 이미지와 관련된 내부 신호가 사라지거나 약해졌어야 합니다. 그러나 그들은 정반대의 결과를 발견했습니다. 모델이 답변을 거부할 때조차도, 이미지에 대한 정보를 전달하는 내부 신호는 여전히 강하고 명확했습니다. 기계는 남자가 아래를 내려다보고 있거나, 빨간 자동차가 있거나, 파란 하늘이 있는 것을 평소처럼 똑같이 선명하게 보고 있었습니다. 시각적 증거는 소실되지 않았으며, 시스템 내에 온전히 존재하고 활성화되어 있었습니다.

그렇다면 기계가 볼 수 있는데 왜 말하기를 거부하는 것일까요? 연구진은 안전 지침이 일종의 문지기 역할을 하는 다른 종류의 내부 신호를 촉발한다는 것을 발견했습니다. 모델이 이미지를 처리하고 답변을 준비할 때, 사고 과정의 후기 단계에서 특정한 활동 패턴이 나타납니다. 이 패턴은 거절(refusal)이라는 개념과 연관되어 있습니다. 안전하게 행동하는 모델들에서는 기계가 단어를 생성하는 데 가까워질수록 이 거절 신호가 점점 더 강해졌습니다. 그것은 마치 기계 안에 두 가지 상충하는 생각이 있는 것과 같았습니다. 하나는 본 것에 기반한 생각이고, 다른 하나는 조용히 하라는 안전 규칙에 기반한 생각이었습니다. 안전 규칙이 논쟁에서 승리하여 시각적 증거를 압도했고, 기계가 답변 대신 거절을 출력하도록 강제했습니다.

이 거절 신호가 침묵의 실제 원인임을 증명하기 위해 연구진은 섬세한 실험을 수행했습니다. 그들은 거절을 담당하는 특정 내부 패턴을 식감별한 뒤, 테스트 도중 그 패턴을 반대 방향으로 부드럽게 밀었습니다. 그들은 모델을 재학습시키거나 이미지를 변경하지 않았습니다. 단지 기계가 말을 하기 직전의 순간에 내부 신호를 조정했을 뿐입니다. 이 거절 신호를 억제하자, 모델들은 즉시 다시 질문에 답변하기 시작했습니다. 그들은 일반적인 조건에서 했던 것처럼 이미지를 정확하게 묘描述했습니다. 이는 기계의 시각 능력이 결코 손상되지 않았음을 확인시켜 주었습니다. 거절은 시각의 실패가 아니라, 답변을 유보하려는 의도적인 내부 결정이었습니다.

이 연구는 또한 이 내부적인 싸움이 모델의 구체적인 설계에 따라 다르게 전개된다는 것을 보여주었습니다. 어떤 기계에서는 거절 신호가 매우 뚜렷하고 찾기 쉬워, 모델이 답변할 때와 침묵할 때를 명확히 구분했습니다. 다른 기계에서는 신호들이 더 뒤섞여 있어 결정 과정을 풀어내는 것이 더 어려웠습니다. 기계가 어떻게 구축되었는지에 대한 이러한 차이에도 불구하고 결과는 동일했습니다. 안전 지침은 항상 사고 과정의 마지막 단계를 수정하여 말하기보다 침묵을 우선시하도록 만들었습니다.

이 발견은 이러한 강력한 도구들을 인간의 안전 표준에 맞추는 방식에 있어 미묘하지만 중요한 결함을 강조합니다. 모델들은 세상을 이해하지 못하는 것이 아니라, 안전 규칙이 작동할 때 자신이 이해한 바를 표현하는 데 실패하고 있는 것입니다. 연구진은 기계가 시각적 세계에 대한 완벽한 내부 기록을 유지하고 있음에도 불구하고, 그것을 부정하도록 프로그래밍될 수 있다는 것을 발견했습니다. 이는 안전 메커니즘이 환각(hallucination)으로부터 보호하는 방패라기보다는, 유효한 정보의 출력을 차단하는 필터로 작용하고 있음을 시사합니다. 기계는 답을 알고 있고, 답을 보고 있지만, 안전 지침 때문에 말하지 않기로 선택하는 것입니다.

이 발견의 함의는 인공지능의 미래에 있어 매우 심오합니다. 이는 안전을 위한 정렬(alignment)이 때로는 모델을 유용하게 만드는 근간 자체를 무력화할 수 있음을 보여줍니다. 만약 기계가 너무 조심스러워져서 의료 영상이나 교통 상황을 설명하기를 거부한다면, 그것은 본래의 목적인 '도움이 되는 것'을 달성하지 못하는 것입니다. 연구진은 내부 신호에 개입함으로써 근거 있는 답변을 회복할 수 있음을 입증했으며, 이는 시스템이 안전을 유지하면서도 무익하게 침묵하지 않도록 미세 조정할 수 있는 방법이 있을 수 있음을 시사합니다. 이 연구는 최종적인 해결책을 제시하지는 않지만, 문제가 어디에 있는지에 대한 명확한 지도를 제공합니다. 문제는 기계의 눈에 있는 것이 아니라, 무엇을 말할지 결정하는 내부의 문(gate)에 있습니다.

궁극적으로, 이 연구는 우리가 인공지능의 신뢰성을 생각하는 방식을 변화시킵니다. 이는 기계가 출력을 통해서는 "틀릴" 수 있지만, 지각에 있어서는 "옳을" 수 있음을 증명합니다. 안전하게 정렬된 모델의 침묵은 항상 혼란이나 데이터 부족의 징후는 아닙니다. 때때로 그것은 기계가 명확하게 보고 있음에도 불구하고, 보지 말라는 지시를 받았기 때문입니다. 과학자들은 이 거절의 내부 메커니즘을 이해함으로써, 안전하면서도 정직한 시스템을 구축할 수 있으며, 기계가 진실을 볼 때 그것을 말할 수 있도록 보장할 수 있습니다.