ROSE: Benchmarking the Perception-to-Action Gap in Multimodal Models
이 논문은 ROSE를 소개하며, 이는 멀티모달 거대 언어 모델이 시각적 계수와 문맥 조건부 행동 사이에서 상당한 성능 격차를 겪고 있음을 입증하는 통제된 벤치마크로서, 인간의 높은 수행 능력에도 불구하고 공유된 시각적 증거를 작업 특정적 행동으로 변환하는 데 있어 뚜렷한 병목 현상이 존재함을 드러낸다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신이 벽에 붙어 있는 100개의 똑같이 생긴 거대한 스티커 격자를 바라보고 있다고 상상해 보세요. 갑자기, 그중 세 개가 약간 다르다는 것을 발견했습니다. 예를 들어 하나는 뒤집혀 있거나, 아주 작은 흠집이 있을 수도 있습니다.
이제 당신 옆에 로봇 한 대가 서 있다고 상상해 보세요. 당신은 로봇에게 이 똑같은 벽에 대해 세 가지 다른 질문을 던집니다.
- 개수 (The Count): "이상한 스티커가 총 몇 개지?"
- 구역 (The Zone): "왼쪽 상단 구석에는 이상한 스티커가 몇 개 있지?"
- 행동 (The Action): "왼쪽 상단 구석에 있는 모든 이상한 스티커를 손가락으로 가리켜 봐."
ROSE라는 논문에 따르면, 오늘날 가장 똑똑한 AI 모델 중 상당수는 첫 번째와 두 번째 질문에는 뛰어나지만, 세 번째 질문에는 형편없습니다. 그들은 이상한 스티커의 개수를 완벽하게 셀 수는 있지만, 특정 규칙에 따라 직접 가리키라고 하면 혼란에 빠져 엉뚱한 곳을 가리키거나 구역 밖의 스티커를 가리키곤 합니다.
다음은 이 논문이 발견한 내용을 쉬운 비유를 들어 정리한 것입니다.
1. 문제점: "보이지만, 행동할 수는 없다"
연구진은 이를 **"인지-행동 간극 (Perception-to-Action Gap)"**이라고 부릅니다.
AI를 매우 똑똑한 사서라고 생각해보세요. 이 사서는 선반에 빨간 책이 몇 권 있는지 즉시 말할 수 있습니다. 하지만 만약 당신이 "세 번째 선반으로 가서, 빨간 책들을 찾아, 그것들을 꺼내 오세요"라고 요청한다면, 사서는 얼어붙을지도 모 모릅니다. 무엇을 찾아야 하는지는 알지만, 새로운 규칙 아래에서 그 지식을 구체적이고 정밀한 행동으로 옮기는 데 어려움을 겪는 것입니다.
논문은 even 최고의 AI 모델들(GPT-5.5나 Gemini 같은)조차 단순히 "세는 것"에서 "특정 지점을 클릭하는 것"으로 과제가 바뀔 때 성능이 크게 떨어진다는 것을 발견했습니다. 어떤 모델들은 과제가 "숫자를 말하기"에서 "위치를 보여주기"로 바뀌었다는 이유만으로 정확도가 거의 45%나 급락했습니다.
2. 테스트: "오답 찾기" 격자 게임
이를 증명하기 위해 연구팀은 ROSE라는 벤치마크를 구축했습니다.
- 설정: 그들은 거의 동일한 아이템(매우 비슷하게 생긴 한자나, 스타일이 미세하게 다른 이모지 등)으로 채워진 수천 개의 격자 이미지를 만들었습니다.
- 반전: 모든 이미지에는 "다수" 아이템(정상적인 것)과 몇 개의 "예외"(이상한 것)가 포함되어 있습니다.
- 도전 과제: AI는 그림은 그대로 유지되지만 매번 규칙이 바뀌는 게임을 수행해야 합니다.
- 라운드 1: 모든 이상한 것을 세기.
- 라운드 2: 특정 상자 안에 있는 이상한 것만 세기.
- 라운드 3: 그 상자 안에 있는 이상한 것을 클릭하기.
- 라운드 4: 그 상자 밖에 있는 이상한 것을 클릭하기.
이것은 마치 "월리를 찾아라" 게임을 하는데, 규칙이 "월리를 찾아라"에서 "주방에 있는 월리를 찾아라", 그리고 "주방에 있는 월리를 터치하라"로 계속 변하는 것과 같습니다. 그림은 변하지 않지만, AI에게 내려지는 지시는 변합니다.
3. 결과: "세기 vs 클릭하기"의 간극
결과는 놀라웠습니다.
- 인간: 거의 완벽합니다. 인간에게 격자를 보여주고 숫자를 세라고 한 뒤, 다시 클릭하라고 해도 거의 100%의 정확도로 두 가지를 모두 수행할 수 있습니다.
- AI 모델: 보통 숫자는 정확히 셀 수 있습니다 (인지). 하지만 특정 지점을 클릭하라고 요청하면 (행동), 자주 실패합니다.
- 예시: 어떤 모델은 "이상한 스티커가 3개 있습니다"라고 정확히 말할 수 있습니다. 하지만 왼쪽 상단 구석에 있는 것을 클릭하라고 하면, 실제로는 구석 밖에 있는 것을 포함하여 3개를 클릭하거나, 엉뚱한 3개를 클릭할 수 있습니다.
이 논문은 답을 아는 것과 답을 실행하는 것은 다르다는 점을 보여줍니다. AI는 "이상한 것이 3개 있다"라는 전체적인 이해에 갇혀서, 특정 맥의 규칙(예: 특정 상자 안 혹은 제외 구역)을 적용하는 데 실패합니다. 즉, 전체적인 그림에 "고착"되어 로컬 규칙을 잊어버리는 것입니다.
4. 왜 이런 일이 발생하는가?
연구진은 AI가 왜 실패하는지 파헤쳤습니다. 이는 단순히 AI가 수학을 못 하거나 픽셀을 보지 못해서가 아닙니다.
- 형식 오류가 아닙니다: AI가 단지 틀린 단어를 타이핑하는 것이 아닙니다. 실제로 잘못된 좌표를 선택하고 있는 것입니다.
- "맥락" 문제입니다: AI는 전체적인 이해("이상한 것이 3개 보인다")를 바탕으로 특정 맥락에 맞춰 재조정("하지만 나는 상자 안에 있는 것들만 원한다")하는 데 어려움을 겪습니다.
- "앵커링(Anchoring)" 실패: 때때로 AI는 전체 개수에 "고착"됩니다. 만약 전체적으로 이상한 것이 3개라면, 상자 안의 것만 찾으라고 해도 여전히 3개를 클릭하려고 시도할 수 있습니다. 원래의 숫자를 놓아주지 못하는 것입니다.
5. 시사점
이 논문은 AI가 세상을 보고 설명하는 데는 매우 능숙해지고 있지만, 규칙이 바뀔 때 정밀하게 세상에 행동하는 데는 여전히 어려움을 겪고 있다고 결론짓습니다.
이는 마치 멀리서 빨간 불을 포착하는 능력(인지)은 뛰어나지만, 다른 차나 표지판 때문에 시야가 혼란스러울 때 브레이크를 정확한 타이밍에 밟는 것(행동)에 서툰 운전자와 같습니다.
ROSE 벤치마크는 바로 이 간극을 측정하기 위해 설계된 새로운 도구입니다. 이는 AI가 진정으로 실세계의 작업(화면의 버튼을 클릭하거나 방을 돌아다니는 일 등)에 유용해지기 위해서는, 자신이 보는 것을 현재 상황에 맞는 정확한 움직임으로 바꾸는 능력을 반드시 개선해야 함을 보여줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.