Consistency Has a Computable Blind Spot: A Commutation Theory of Label-Free Reliability for Vision-Language Figure Reading

탐정의 딜레마: AI가 루프에 빠질 때

당신이 로봇에게 판매 수치를 보여주는 막대그래프와 같은 차트를 읽는 법을 가르치고 있다고 상상해 보십시오. 당신은 로봇이 실제로 데이터를 보고 있는 것인지, 아니면 단지 그곳에 있어야 한다고 생각하는 것에 기반해 추측하고 있는 것인지 알고 싶습니다. 인공지능의 세계, 특히 시각적 정보를 읽을 수 있는 모델(이를 시각-언어 모델이라고 부릅니다)의 경우, 과학자들이 즐겨 사용하는 테스트 기법이 하나 있습니다. 바로 **일관성(Consistency)**입니다. 개념은 간단합니다. 만약 차트의 "화장(cosmetics)"을 바꾼다면—예를 들어 막대를 빨간색 대신 파란색으로 바꾸거나, 확대한다면—답변은 바뀌지 않아야 합니다. 만약 로봇이 매번 동일한 답을 내놓는다면, 우리는 그 로봇이 정직하고 신뢰할 수 있다고 가정합니다. 이는 친구에게 "저 건물이 얼마나 높니?"라고 물은 뒤, 친구가 우스꽝스러운 모자를 쓴 상태에서 다시 물었을 때도 여전히 높이를 정확히 맞춘다면 그를 신뢰하는 것과 같습니다.

하지만 이 신뢰 테스트에는 교활한 문제가 있습니다. 만약 당신의 친구가 틀렸는데, 일관되게 틀린 것이라면 어떨까요? 만약 건물의 높이가 실제로는 50피트인데 친구가 100피트라고 생각한다면, 친구는 우스꽝스러운 모자를 써도 여전히 "100피트"라고 말할 것입니다. 그는 일관성 테스트를 통과하겠지만, 여전히 환각(hallucination)을 일으키고 있는 것입니다. 이것이 연구자들이 우려해 온 "사각지대"입니다. 즉, 자신만만하지만 완전히 틀린 시스템입니다. 이 분야의 핵심 질문은 이것입니다: 어떻게 하면 인간이 모든 답변을 일일이 확인하지 않고도, 이 '자신만만한 거짓말쟁이'들을 잡아낼 수 있을까요? 우리는 정답을 미리 알지 못해도 AI의 신뢰성을 테스트할 수 있는 방법이 필요합니다.

---

논문의 핵심 아이디어: "교환(Commuting)"의 비밀

Consistency Has a Computable Blind Spot이라는 제목의 이 논문은 바로 그 문제를 다룹니다. 하마드 빈 칼리파 대학교(Hamad Bin Khalifa University)의 저자들은 기존의 테스트 방식(단순히 답변이 유지되는지 확인하는 것)에 내재된 결함을 지적합니다. 그들은 **등변성(Equivariance)**이라는 개념을 사용하여 AI를 테스트하는 더 똑똑하고 새로운 방법을 제안합니다.

이렇게 생각해 보십시오. 당신에게 케이크 레시피가 있다고 가정해 봅시다.

• 기존 방식 (불변성, Invariance): AI에게 "레시피가 뭐야?"라고 묻습니다. 그다음 레시피 카드의 글꼴을 바꾸고 다시 묻습니다. AI가 동일한 레시피를 말한다면 테스트를 통과한 것입니다. 하지만 AI가 환각을 일으켜 설탕 대신 "소금"이 들어간다고 생각한다면, 두 번 모두 "소금"이라고 말할 것입니다. 테스트는 통과하겠지만, 케이크는 짤 것입니다.
• 새로운 방식 (등변성, Equivariance): 실제로 레시피의 재료를 바꿉니다. 밀가루 양을 두 배로 늘립니다. 이제 똑똑한 AI라면 반드시 답변을 바꿔야 합니다. 원래 답변이 "밀가루 2컵"이었다면, 새로운 답변은 반드시 "4컵"이어야 합니다. 만약 AI가 다시 "2컵"이라고 말하거나 "3컵"이라고 말한다면, 당신은 AI가 데이터에 주의를 기울이지 않고 있다는 것을 알 수 있습니다. 단순히 답변이 유지되는 것이 중요한 게 아니라, 데이터가 변할 때 답변이 예측 가능한 수학적 방식으로 변해야 하는 것입니다.

저자들은 기존 방식의 수학적 "사각지대"를 발견했습니다. 그들은 만약 AI가 특정한 종류의 실수(예를 들어, 모든 값에 고정된 숫자를 더하는 실수)를 범한다면, 어떤 화장(색상이나 글꼴 변경 등)을 하더라도 결코 그 실수를 잡아낼 수 없음을 증มี했습니다. 그 오류는 변화와 "교환(commute)"됩니다. 즉, 실수와 변화를 적용하는 순서가 상관없기 때문에, AI는 틀렸을 때조차 일관되어 보이게 됩니다.

마법의 공식: 스왑(Swaps) vs 사이클(Cycles)

이 논문은 문제점만 지적하는 데 그치지 않고, 이를 해결하기 위한 정밀한 레시피를 제공합니다. 저자들은 어떤 종류의 변화가 어떤 종류의 오류를 잡아낼 수 있는지 알아내기 위해 대수학(기호와 규칙의 수학)을 사용했습니다.

그들은 두 가지 주요 유형의 오류를 발견했습니다:

1. 수학적 오류 (Mathy Errors): 숫자를 틀리는 경우 (예: 모든 것에 2를 곱함).
2. 라벨 오류 (Label Errors): 이름을 혼동하는 경우 (예: "Apple"을 "Banana"라고 부름).

수학적 오류의 경우, 저자들은 모든 가능한 실수를 잡아내기 위해 두 가지 특정 변화가 필요하다는 것을 증명했습니다: 하나는 숫자를 곱하는 것이고, 다른 하나는 숫자를 더하는 것입니다. 이 두 가지를 모두 사용하면 AI는 숨을 곳이 없습니다.

라벨 오류의 경우, 놀라운 반전이 있었습니다. 일반적인 테스트 방식은 두 라벨을 **스왑(swap, 맞바꾸기)**하는 것입니다 (Apple과 Banana를 바꿈). 저자들은 수학적으로 이것이 형편없는 테스트임을 증명했습니다! 만약 AI가 혼동하여 Apple을 Banana라고 생각한다면, 스왑하는 행위는 그 혼동을 확증해 줄 뿐입니다. 마치 "빨강"을 "파랑"이라고 생각하는 거짓말쟁이에게 두 단어를 바꾸어 제시하면, 그들은 여전히 자기 머릿속에서는 "맞다"고 생각하게 되는 것과 같습니다.

대신, 저자들은 **순환적 라벨링(Cyclic Relabeling)**을 제使用할 것을 제안합니다. 세 명의 친구 Alice, Bob, Charlie가 원형으로 앉아 있다고 상상해 보십시오. 단순히 Alice와 Bob을 바꾸는 대신, 모두를 한 칸씩 이동시킵니다: Alice는 Bob이 되고, Bob은 Charlie가 되며, Charlie는 Alice가 됩니다. 이 "사이클(cycle)"은 거짓말쟁이의 논리를 깨뜨립니다. 저자들은 이를 실제 차트에 테스트한 결과, 스왑 방식은 오류의 **5.3%**만을 잡아낸 반e, 사이클 방식을 사용했을 때는 **44.0%**를 잡아내어 8배나 개선된 결과를 얻었습니다!

결과: 새로운 성적표

연구팀은 **등변성-일관성 점수(Equivariance-Consistency Score, ECS)**라는 도구를 구축했습니다. 이것은 "라벨이 필요 없는(label-free)" 탐지기로, 인간이 정답을 알려줄 필요가 없습니다. 그저 "내가 데이터를 바꿨을 때 AI가 답변을 적절하게 바꿨는가?"를 체크합니다.

그들은 300개의 다양한 차트 예시를 사용하여 세 가지 AI 모델(Qwen2.5-VL-7B, Qwen2.5-VL-3B, InternVL2-8B)을 테스트했습니다. 결과는 명확했습니다:

• 기존의 "일관성" 테스트(차트를 다시 렌더링하는 방식 등)는 거의 모든 자신만만한 오류를 놓쳤습니다. 이 방식은 "자신만만하지만 틀린" 답변을 0% 잡아냈습니다.
• 새로운 ECS 방식은 동일한 까다로운 오류의 **53.6%**를 잡아냈습니다.
• 기존 방식과 새 방식을 결리했을 때, 시스템은 진실을 찾아내는 능력이 더욱 향상되었습니다.

또한 저자들은 이것이 특정 컴퓨터 프로그램만의 우연한 현상이 아님을 보여주었습니다. 그들은 이 "사각지대"가 코드의 버그가 아니라, "일관성" 관계 자체의 근본적인 속성임을 수학적으로 증명했습니다. 프롬프트를 바꾸든 이미지를 바꾸든, 답변이 유지되는 것에만 의존한다면 이러한 종류의 거짓말을 놓칠 수밖에 없습니다.

이것이 왜 중요한가

이 논문은 더 나은 테스트를 만들기 위한 규칙을 제공합니다. 만약 우리가 AI가 정말로 차트를 "보고" 있는지 알고 싶다면, 단순히 글꼴을 바꿔서 같은 질문을 던지는 것만으로는 부족합니다. 우리는 데이터 자체를 바꾸고, AI의 뇌가 수학을 따르는지 확인해야 합니다. (스왑 대신 사이클과 같은) 올바른 종류의 변화를 사용함으로써, 우리는 AI가 자신만만하게 환각을 일으킬 때 이를 잡아낼 수 있으며, 이를 통해 이러한 도구들을 실제 환경에서 훨씬 더 안전하고 신뢰할 수 있게 만들 수 있습니다. 저자들은 단순히 추측한 것이 아니라, 수학으로 증명하고 실험으로 확인함으로써, 약간의 대수학이 AI의 사각지대를 해결하는 데 얼마나 큰 역할을 할 수 있는지 보여주었습니다.