PRISM: Priority-aware Rubric Internalization via Structured Multimodal Data Synthesis

작은 글씨의 예술

당신이 로봇에게 세상을 이해하는 법을 가르치고 있다고 상상해 보세요. 오랫동안 우리는 이 로봇들에게 "질문과 답변"이라는 단순한 게임을 통해 학습시켜 왔습니다. 고양이 사진을 보여주고 "이것은 고양이인가요?"라고 묻는 식이죠. 만약 로봇이 "네"라고 답하면 금색 별을 받습니다. 이것이 대부분의 AI 모델이 시각을 학습하는 방식입니다. 즉, 사물을 포착하고 그것에 대한 직접적인 질문에 답하는 데 매우 능숙합니다.

하지만 현실 세계는 단순히 단순한 질문들의 연속이 아닙니다. 현실은 숨겨진 규칙들이 얽혀 있는 복잡한 지시사항의 뭉치입니다. 예를 들어 당신이 사람에게 "이 포스터를 위한 슬로건을 작성해 주세요"라고 말한다고 가정해 봅시다. 당신은 아마도 다음과 같은 비밀스러운 요구 사항 목록을 가지고 있을 것입니다. "브랜드명을 언급해야 함", "제품에 대해 거짓을 말해서는 안 됨", "흥미로운 느낌을 주어야 함". 만약 슬로건이 흥미롭긴 하지만 제품에 대해 거짓을 말한다면, 인간은 그것이 실패작임을 압니다. 하지만 AI에게 있어 이러한 '규칙의 뭉치'는 종종 너무 혼란스럽게 느껴집니다. AI는 대개 주요 요청 사항에만 집중하고 작은 글씨(세부 규칙)는 무시하는 경향이 있습니다. 이 논문은 바로 그 구체적인 문제를 다룹니다. 즉, AI가 단순히 질문에 답하는 것을 넘어, 최종 판결을 내리기 전에 모든 규칙을 하나하나 확인하는 엄격한 편집자처럼 행동하도록 가르치는 법에 관한 것입니다.

논문: PRISM

ByteDance와 베이징 대학교 연구진이 참여한 이 연구의 저자들은 현재의 AI 모델들이 기말고사 공부는 열심히 하지만 숙제 지시사항은 무시하는 학생과 같다는 점에 주목했습니다. 이 모델들은 "이것이 무엇인가?"라는 질문에는 뛰어나지만, 어떤 규칙이 더 중요한지를 파악해야 하는 복잡하고 다단계적인 지시사항을 따르는 데는 서툽니다. 이를 해결하기 위해 그들은 PRISM(구조화된 멀티모달 데이터 합성을 통한 우선순위 인식 루브릭 내재화)이라는 새로운 학습 방법을 만들었습니다.

PRISM을 "규칙 생성 공장"이라고 생각해보세요. 연구진은 단순히 AI에게 이미지를 보여주고 질문을 던지는 대신, 모든 이미지에 대해 구조화된 '루브릭(rubric)'—즉, 규칙 체크리스트—을 생성하는 시스템을 구축했습니다. 그들은 단순히 AI에게 규칙을 추측하라고 시킨 것이 아니라, AI가 **실행자(executor)**로서 행동하도록 가르쳤습니다. 모델은 이미지를 보고, 규칙 목록(예: "신발이 빨간색인지 확인하라" 또는 "텍text가 정중한지 확인하라")을 읽은 다음, 최종적인 "통과(Pass)" 또는 "실패(Fail)" 판정을 내리기 전에 각 규칙을 개별적으로 검증해야 합니다.

연구팀은 이 학습 데이터를 만들기 위해 영리한 4단계 과정을 사용했습니다. 첫째, 그들은 "브랜드 포스터 검토자"나 "수학 시험 채점관"과 같이 AI를 위한 '페르소나'를 고안했습니다. 둘째, 그 페르소나를 바탕으로 AI가 규칙 목록을 생성하도록 유도했습니다. 셋째, 혼란스럽거나 모순되는 나쁜 규칙들을 걸러내고 양질의 규칙만을 남겼습니다. 마지막으로, 모델이 모든 규칙을 하나씩 점검하고 그 점검 결과들을 종합하여 최종 결정을 내리는 보고서를 작성하는 법을 가르쳤습니다.

결과는 이 방법이 놀라울 정도로 효과적임을 보여줍니다. 연구진이 Qwen3-VL-4B 모델을 이 합성된 예시들 1만 개만으로 학습시켰을 때, 복잡한 규칙을 따르는 능력은 고작 9.5%에서 훨씬 강력한 30.1%로 급증했습니다. 이는 매우 큰 성과인데, 왜냐하면 이 학습을 하기 전에는 세계에서 가장 강력한 AI 모델들조차 30%의 벽을 넘는 데 어려움을 겪었기 때문입니다. 이 논문은 문제가 AI가 충분히 "똑똑하지" 않아서가 아니라, 우선순위가 정해진 규칙 목록을 확인하는 특정한 기술을 배우지 못했기 때문이라고 제안합니다.

이것이 중요한 이유

가장 흥ante로운 발견은 이 학습이 AI를 다른 작업에 대해 "멍청하게" 만들지 않았다는 점입니다. 보통 모델에게 새롭고 특정한 기술을 가르치면, 기존에 하던 기술을 잊어버릴 수 있습니다. 하지만 여기에서 모델은 이미지와 텍스트를 이해하는 일반적인 능력을 잃지 않으면서도 규칙을 따르는 능력이 향상되었습니다.

저자들은 또한 테스트 단계에서 몇 가지 예시(참조 시트와 같은)를 제공함으로써 모델을 "가이드"할 수 있는지 테스트했습니다. 그 결과, 예시를 제공하는 것이 약간의 도움은 되었지만, 모델이 그 과정을 실제로 내재화하도록 직접 학습시키는 것만큼 효과적이지는 않다는 것을 발견했습니다. 이는 학생에게 시험 중에 참고 자료를 주는 것과, 학생이 내용을 실제로 이해할 수 있도록 공부하는 법을 가르치는 것의 차이와 같습니다.

요컨대, 이 논문은 지시사항이 결코 단순하지 않은 실제 세상에서 AI가 진정으로 도움이 되게 만들려면, 우리가 AI를 단순히 질문에 답하는 기계로 취급하는 것을 멈추고, 작은 글씨까지 존중하며 꼼꼼하게 확인하는 세심한 편집자처럼 훈련시켜야 한다고 제안합니다.