Multilingual Vision-Language Models, A Survey

"Multilingual Vision-Language Models, A Survey"라는 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 풀어냅니다.

큰 그림: 로봇에게 여러 언어로 보고 말하기 가르치기

로봇에게 세상을 이해하도록 가르치려 한다고 상상해 보세요. 로봇에게 사진을 보여주고 이를 설명하거나 사진에 대한 질문에 답하도록 가르치는 것입니다. 이것이 바로 시각 - 언어 모델이 하는 일입니다. 이들은 로봇의 눈과 뇌가 결합된 것과 같아, 로봇이 이미지를 '보고' 그 내용에 대해 '말'할 수 있게 합니다.

오랫동안 연구자들은 이 로봇들에게 영어만 가르쳤습니다. 마치 아이에게 한 가지 언어만 읽히도록 가르치는 것과 같습니다. 하지만 세상은 여러 언어로 말합니다. 이 논문은 2020 년부터 2025 년까지 이 로봇들이 어떻게 여러 언어를 동시에 말하고 이해하는지 학습했는지를 살펴본 방대한 조사 (분야에 대한 검토) 입니다.

저자인 안드레이 - 알렉산드루 마네아와 진드리흐 리보비츠키는 현재 상황을 파악하기 위해 33 개의 서로 다른 로봇 모델과 **23 개의 서로 다른 테스트 (벤치마크)**를 살펴보았습니다.

핵심 갈등: '보편적 통역사' 대 '지역 가이드'

이 논문은 두 가지 목표 사이의 큰 긴장감, 즉 줄다리기와 같은 갈등을 지적합니다.

1. 언어 중립성 (보편적 통역사):

   • 아이디어: 개에 대한 사진은 dog, chien, 또는 perro라고 부르든 관계없이 개입니다. 로봇은 언어에 상관없이 같은 것을 보고 같은 답을 내야 합니다.
   • 비유: 이를 보편적 지도라고 생각하세요. 에펠탑에 대한 지도를 보면 파리에 있든, 도쿄에 있든, 뉴욕에 있든 에펠탑은 에펠탑입니다. 사실은 변하지 않습니다.
   • 문제점: 로봇이 너무 중립적이면, 어떤 문화에서는 개가 사랑받는 가족 구성원인 반면 다른 문화에서는 그 단어가 모욕으로 사용될 수 있다는 사실을 무시할 수 있습니다.

2. 문화적 인식 (지역 가이드):

   • 아이디어: 로봇은 맥락이 중요하다는 것을 이해해야 합니다. 미국의 '가족 식사'는 칠면조와 파이를 의미할 수 있지만, 일본에서는 미소 국을 의미할 수 있습니다. 로봇은 문화에 맞춰 답변을 조정해야 합니다.
   • 비유: 이를 지역 가이드라고 생각하세요. 이탈리아의 가이드는 '커피'가 작은 에스프레소를 의미한다는 것을 알고, 미국의 가이드는 거대한 드리프 커피 한 잔을 의미할 수 있다는 것을 압니다. 그들은 현지 규칙을 알고 있습니다.
   • 문제점: 로봇에게 이러한 미묘한 문화적 규칙을 가르치는 것은 매우 어렵습니다. 단순히 문장을 번역하는 것이 아니라, 듣는 사람에 따라 의미를 바꿔야 합니다.

논문의 발견: 현재 로봇을 보편적 통역사 (언어 중립성) 로 가르치는 것은 지역 가이드 (문화적 인식) 로 가르치는 것보다 훨씬 쉽습니다. 첫 번째에는 좋은 수학적 방법이 있지만, 두 번째를 어떻게 가르칠지 여전히 고민 중입니다.

로봇의 구축 방식 (아키텍처)

이 논문은 이러한 모델들이 스마트폰이 더 크고 강력해지듯 진화해 왔다고 설명합니다.

• 옛 방식 (인코더): 초기 모델은 도서관 사서와 같았습니다. 사진과 문장을 보고 "네, 이 둘은 맞습니다" 또는 "아니요, 맞지 않습니다"라고 말할 수 있었습니다. 이들은 물건을 분류하는 데는 훌륭했지만 새로운 이야기를 쓰지는 못했습니다.
• 새 방식 (디코더): 최신 모델은 이야기꾼과 같습니다. 사진을 보고 그 내용에 대한 전체 단락을 쓰거나 창의적으로 복잡한 질문에 답할 수 있습니다.
• 크기: 이러한 모델은 거대해졌습니다. 초기 모델은 수억 개의 '뇌 세포' (파라미터) 를 가지고 있었지만, 최신 모델은 최대 2 조 개에 달합니다. 이는 자전거에서 초음속 제트기로 가는 것과 같습니다.

테스트의 문제점 (벤치마크)

로봇이 똑똑한지 확인하기 위해 테스트를 줍니다. 논문은 테스트 방식에 중대한 결함이 있음을 발견했습니다.

• '번역의 함정': 테스트의 약 3 분의 2는 영어 테스트를 다른 언어로 번역한 후 로봇이 동일한 점수를 얻는지 확인하는 방식으로 만들어졌습니다.
  • 비유: 요리사를 테스트할 때 영어로 된 레시피를 주고, 이를 프랑스어로 번역한 후, 정확히 같은 요리를 만들 수 있는지 물어보는 상황을 상상해 보세요. 이는 지시를 따를 수 있는지 테스트할 뿐, 영어 버전과 달라야 하는 전통적인 프랑스 요리를 요리할 줄 아는지 테스트하지는 않습니다.
• 부족한 '지역' 테스트: 특정 지역의 문화에 맞는 사진과 질문을 사용하는 테스트는 매우 드뭅니다. 독일 사용자와 나이지리아 사용자에게 '집'의 사진이 다르게 보일 수 있고, 로봇이 그 차이를 알아야 하는 테스트를 찾기 어렵습니다.

논문이 발견한 것

1. 진전은 현실적입니다: 영어만 말하는 간단한 모델에서 수십 개 언어를 처리할 수 있는 거대 모델로 이동했습니다.
2. 격차: 모델이 100 개 언어를 지원한다고 주장하더라도, 우리는 보통 5 개 또는 10 개 언어로만 테스트합니다. 나머지 90 개 언어에서는 실제로 작동하는지 잘 모릅니다.
3. 투명성 문제: 가장 크고 강력한 모델은 대형 기술 기업에서 나옵니다. 그들은 로봇을 어떻게 만들었는지 (아키텍처) 는 알려주지만, 무엇을 먹였는지 (학습 데이터) 에 대해서는 매우 비밀로 합니다. 마치 요리사가 "훌륭한 케이크를 만들었다"고 말하지만 어떤 재료를 넣었는지 알려주기를 거부하는 것과 같습니다. 이로 인해 로봇이 편향되었는지, 아니면 정말로 다양한 문화를 이해하는지 알기 어렵습니다.
4. 미래의 과제: 우리는 영어 테스트를 단순히 번역하는 것을 멈춰야 합니다. 로봇이 문화적 인식을 가지고 있는지 진정으로 확인하기 위해 현지 이미지와 현지 질문을 가진, 다양한 문화에서 태어난 새로운 테스트를 만들어야 합니다.

한 문장으로 요약

이 논문은 우리가 여러 언어를 보고 말할 수 있는 놀라운 로봇을 구축했지만, 현재는 사실 번역에 초점을 맞춘 '중립적'인 모델을 만드는 데 너무 치중하고 지역적 뉘앙스를 이해하는 '문화적 인식'을 가진 모델을 만드는 데는 부족하며, 후자를 측정하기 위해 테스트 방식을 바꿔야 한다고 주장합니다.