당신은 공장 바닥을 돌아다니는 로봇 조수를 만들고 싶다고 상상해 보세요. 이 로봇은 이동식 카트에 실릴 수 있을 만큼 작아야 하고, 회로 기판의 미세한 스크래치를 찾아낼 수 있을 만큼 똑똑해야 하며, 조명이 깜빡이거나 카메라가 흐릿해져도 계속 작동할 수 있을 만큼 강인해야 합니다. 이것이 바로 **멀티모달 소형 언어 모델(MSLMs)**의 세계입니다. 이 모델들을 "주머니 속의 천재"라고 생각해보세요. 이들은 이미지와 텍텍스트를 동시에 보고 읽을 수 있습니다. 데이터 센터 크기만한 창고가 필요한 거대하고 클라우드 기반인 이들의 사촌들과 달리, 이 작은 모델들은 장치 자체에서 직접 구동되도록 설계되었습니다. 이는 공장의 비밀을 안전하게 지키고 데이터를 인터넷으로 전송할 때 발생하는 지연 시간을 피하기 위함입니다. 과학자들이 던진 핵심 질문은 이것입니다: 이 주머니 속의 천재들이 실제로 예측 불가능한 현실 세계를 감당할 준비가 되었을까요, 아니면 완벽하게 통제된 교실 안에서만 똑똑해 보이는 것일까요?

RobustMAD라는 제목의 이 논문은 이 모델들을 궁극적인 시험대에 올리기로 결정했습니다. 저자들은 이 작은 AI 조수들이 실제 공장의 혼란을 감당할 수 있는지 확인하기 위해 RobustMAD라는 새롭고 매우 도전적인 시험을 구축했습니다. 그들은 로봇에게 단순히 "이것이 고장 났나요?"와 같은 간단한 질문을 던진 것이 아닙니다. 그들은 혼란스러운 문구, 흐릿한 사진을 제시했고, 심지어 아무런 문제가 없는 사진에서 문제를 찾아내라고 요구하는 등의 '커브볼'을 던졌습니다. 결과는 놀라움과 경계심이 섞여 있었습니다. 연구진은 일부 작은 모델들이 놀라운 재능을 보여주었으며, 때로는 훨씬 더 크고 비싼 모델들을 능가하기도 한다는 것을 발견했습니다. 그러나 그들은 또한 이 모델들에게 "유리 턱(glass jaw)"이 있다는 사실을 발견했습니다. 까다로운 질문이나 나쁜 조명에 직면했을 때, 이들은 종종 무언가를 지어내거나(환각 현상), 인간 검사원이라면 즉시 잡아냈을 아주 미세한 디테일을 놓치곤 합니다. 이 논문은 이러한 모델들이 유망하긴 하지만, 아직 혼자서 공장을 운영할 만큼 안전하지는 않다고 결론짓습니다. 즉, 추측을 멈추고 신뢰성을 갖추기 위해 더 많은 훈련이 필요합니다.

RobustMAD 이야기

설정: 새로운 종류의 테스트
당신이 품질 관리 업무를 위한 신입 사원을 교육하고 있다고 상상해 보세요. 당신은 그저 제품의 완벽한 사진을 보여주며 "이것이 좋은 상태인가요?"라고 묻지 않을 것입니다. 대신 어두운 곳에서 찍은 사진, 움직이는 물체 때문에 약간 흐릿해진 사진, 그리고 완전히 다른 물체를 보여주며 "여기 결함이 무엇인가요?"라고 물을 것입니다. 그것이 바로 RobustMAD 벤치마크가 하는 일입니다.

저자들은 기존 데이터셋에서 가져온 산업용 물체(병, 케이블, 회로 기판 등)의 실제 이미지 410장을 사용하여 이 테스트를 만들었습니다. 하지만 여기서 멈추지 않았습니다. 그들은 모델을 네 가지 특정 방식으로 테스트하기 위해 11,000개 이상의 질문(객관식 4,510개, 주관식 7,380개)을 생성했습니다:

1. 일반적 객체 이해: "이것은 무엇인가요?"
2. 단독 이상 탐지: "이 사진에 결함이 있나요?"
3. 쌍별(Pair-wise) 이상 탐지: "이 사진을 완벽한 사진과 비교해 보세요. 결함이 있나요?"
4. 답변 불가능한 질의: "이 약 캡슐의 전압 정격은 얼마인가요?" (스포일러: 캡슐에는 그런 정보가 없으며, 모델은 추측해서는 안 됩니다.)

또한 그들은 모션 블러(빠른 컨베이어 벨트 위의 카메라 흔들림)와 낮은 조도(어둑한 창고)를 시뮬레이션하여 "나쁜 조건" 하에서의 테스트도 진행했습니다.

놀라움: 작지만 강하다
연구진이 테스트를 실행했을 때, 예상치 못한 결과가 나왔습니다. AI의 세계에서는 보통 "클수록 좋다"는 규칙이 있습니다. 수십억 개의 파라미터를 가진 거대한 모델이 작은 모델을 압도할 것이라고 생각할 것입니다. 하지만 여기에서 작은 모델들(약 40억 개의 파라미터)은 자신의 체급 이상의 활약을 보여주었습니다.

이 쇼의 주인공은 Qwen3-VL-4B-Instruct였습니다. 이 작은 모델은 단순히 따라가는 수준을 넘어, 60억 개의 파라미터를 가진 훨씬 더 큰 모델인 Phi-4-Multimodal-Instruct를 능가했으며, 심지어 독점적인 GPT-5 Nano까지 이겼습니다. 이는 마치 재기 넘치는 고등학생 농구 선수가 프로 선수라는 거인을 상대로 덩크를 꽂는 것과 같습니다. 이는 스마트한 공장 조수를 만들기 위해 반드시 거대하고 클라우드 기반인 뇌가 필요한 것은 아니며, 잘 설계된 작은 뇌가 해결책이 될 수 있음을 시사합니다.

현실 점검: "유리 턱" 문제
하지만 파티는 오래가지 않았습니다. 이 작은 모델들이 단순한 작업에는 뛰어났지만, RobustMAD 테스트는 현실에 부딪혔을 때 실패하는 세 가지 주요 방식을 드러냈습니다.

1. 취약한 시각 ( "흐릿한 안경" 효과):
   이미지가 완벽할 때는 모델들도 괜찮았습니다. 하지만 이미지가 흐릿해지거나 조명이 나빠지자마 싶자마자, 그들은 존재하지 않는 것을 보기 시작했습니다. 한 예로, 한 모델은 흐릿한 사진 속의 병을 보고 자신 있게 그것이 '렌즈'라고 주장했습니다. 또 다른 예에서는 타일 위의 작은 기름 얼룩을 보고 모델이 타일 대신 "반투명하고 점이 박힌 생물(코페포다)"이라고 환각을 일으켰습니다. 모델들은 패턴을 찾으려는 의욕이 너무 앞선 나머지, 시각적 증거가 약할 때 스스로 패턴을 만들어내곤 합니다.

2. 모호한 답변 ( "아마도" 효과):
   모델들이 정답을 맞혔을 때조차, 공장에서 쓰기에는 설명이 충분히 구체적이지 않은 경우가 많았습니다. 만약 인간 검사자가 스크래치를 발견한다면, "우측 상단에 2mm 스크래치가 있습니다"라고 말할 것입니다. 하지만 AI는 그저 "약간 손상된 것 같습니다"라고 말할 수 있습니다. 안전이 중요한 공장에서 "약간 손상됨"이라는 말은 충분하지 않습니다. 모델들은 종형 너무 모호하여, 결함이 어디에 있는지 또는 얼마나 심한지에 대한 구체적인 세부 사항을 놓치는 경우가 많았습니다.

3. "자신감 있는 거짓말쟁이" (환각 효과):
   이것이 가장 위험한 실패였습니다. 대답할 수 없는 질문(예: 전압 표시가 없는 약 캡슐에 대해 전압 정격을 묻는 경우)을 받았을 때, 모델들은 "모르겠습니다"라고 말하는 대신 자신 있게 답을 지어냈습니다. 한 모델은 캡슐의 전압 정격이 "500"이라고 주장했고, 다른 모델은 존재하지 않는 병뚜껑의 지름이 "1.5인치"라고 추측했습니다. 실제 공장에서 이런 식의 자신감 있는 거짓말은 위험한 실수나 안전사고로 이어질 수 있습니다.

이것이 미래에 의미하는 바
이 논문은 이 모델들이 쓸모없다고 말하는 것이 아닙니다. 오히려 이들은 유망하다고 말합니다. 작은 모델이 큰 모델을 이길 수 있다는 사실은 산업계에 큰 승리인데, 이는 우리가 더 저렴하고 빠르며 프라이버시를 보호하는 공장 조수를 구축할 수 있음을 의미하기 때문입니다.

하지만 저자들은 명확히 말합니다: 아직 갈 길이 멉니다. 이 모델들은 기초적인 것은 잘하지만, 혼자 일하기 전에는 더 많은 감독이 필요한 유능한 인턴과 같습니다. 이들을 실제 사용에 안전하게 만들기 위해서는 단순히 더 나은 프롬프트를 사용하거나 "더 주의하라"고 요청하는 것만으로는 부족합니다. 우리는 그들이 훈련받는 방식 자체를 바꿔야 합니다. 논문은 향-후 모델들이 흐릿한 이미지를 다루는 법, 설명을 정밀하게 하는 법, 그리고 무엇보다도 가장 중요하게, 추측하는 대신 모를 때는 모른다고 인정하는 법을 구체적으로 배워야 한다고 제안합니다.

RobustMAD 벤치마크는 이제 누구나 사용할 수 있도록 공개되었습니다. 이것은 AI를 위한 더 혹독한 운전면허 시험과 같습니다. 이 모델들이 이 시험을 우수한 성적으로 통과하기 전까지는, 훌륭한 조수는 될 수 있어도 공장을 단독으로 운전하게 해서는 안 됩니다.