UNSPECIFIC: General Constraint Synthesis for Breaking Copy-and-Paste Shortcut in LLM Instruction Following

당신이 로봇에게 이야기를 쓰는 법을 가르치고 있다고 상상해 보세요. 당신은 "영웅은 용감해야 한다"라거나 "이야기는 폭우와 함께 끝나야 한다"와 같은 규칙 목록을 줍니다. 이것을 **지시 이행(instruction following)**이라고 합니다. 인공지능의 세계에서 거대 언어 모델(LLM)은 바로 이 로봇들이며, 연구자들은 이들이 복잡하고 긴 규칙 목록을 혼란 없이 수행할 수 있는지 끊임없이 테스트하고 있습니다.

하지만 여기에 까다로운 문제가 있습니다. 로봇이 실제로 규칙을 '생각'하고 있는 것인지, 아니면 그저 지름길을 택하고 있는 것인지 어떻게 확인할 수 있을까요? 때로는 테스트 자체가 결함이 있을 수 있습니다. 만약 로봇에게 방금 읽은 특정 예시를 바탕으로 이야기를 쓰라고 한다면, 로봇은 그 예시의 세부 사항을 자신의 이야기에 그대로 복사해서 붙여넣을 수도 있습니다. 이는 마치 학생에게 "친구가 도와준 경험"에 대해 에세이를 쓰라고 했는데, 학생이 실제 경험을 쓰는 대신 친구의 숙제에 적힌 "나는 친구가 식료품을 옮기는 것을 도와주었다"라는 문장을 그대로 베껴 쓰는 것과 같습니다. 선생님은 "도왔다"와 "친구"라는 단어를 보고 "잘했구나!"라고 생각하겠지만, 정작 학생은 아무런 작업도 수행하지 않은 것입니다. 이 논문은 로봇이 정말 똑똑한 것인지, 아니면 그저 복사하기를 아주 잘하는 것인지를 구분하기 위해 이러한 지름길을 해결하는 방법에 관한 것입니다.

---

위대한 복사-붙여넣기 지름길

UNSPECIFIC을 만나보세요. 이는 AI 모델이 쉬운 길을 택하려 할 때 이를 잡아내기 위해 설계된 새로운 프레임워크입니다. 매사추세츠 대학교 애머스트스트의 연구진은 현재 AI를 테스트하는 방식에 중대한 문제가 있음을 발견했습니다. 보통 테스트를 만들 때, 실제 기사(예: 뉴스 기사)를 가져와서 AI에게 이를 지시 사항 목록으로 변환하도록 요청합니다. 그런 다음, 다른 AI에게 그 지시 사항을 따라 새로운 이야기를 쓰도록 요청합니다.

문제는 무엇일까요? 첫 번째 AI가 지나치게 단순화된다는 점입니다. 일반적인 규칙을 생각하는 대신, 원래 기사의 구체적인 세부 사항을 그대로 가져와 버립니다. 예를 들어, 원래 이야기가 "월마트에서 요거트를 두고 싸우는 존과 메리"에 관한 것이라면, 생성된 지시 사항은 "캐릭터의 이름은 존과 메리여야 한다"라거나 "그들은 월마트에서 싸워야 한다"가 될 수 있습니다. 이때 두 번째 AI가 이 지시 사항을 받게 되면, 창의력을 발휘할 필요가 없습니다. 그저 "존", "메리", "월마트"를 자신의 이야기에 그대로 복사해 넣으면 되기 때문입니다. 이것은 AI가 마치 지시 사항을 완벽하게 따르는 것처럼 보이게 만드는 "복사-붙여넣기 지름길"이며, 실제로는 그저 흉내를 내고 있을 뿐입니다.

UNSPECIFIC이 지름길을 찾아내는 방법

이를 막기 위해, UNSPECIFIC 팀은 테스트를 공정하고 까다롭게 만들기 위한 세 단계의 마법 같은 방법을 고안했습니다.

1단계: "공통 분모" 게임
단 하나의 이야기만을 사용하여 규칙을 만드는 대신, 연구진은 AI에게 두 개의 유사한 이야기를 제공합니다. 예를 들어, 사람들이 말다툼을 하는 두 가지 서로 다른 이야기가 있다고 가정해 봅시다. 하나는 식료품점에서 싸우는 존과 메리의 이야기이고, 다른 하나는 주유소에서 싸우는 크리스와 줄리의 이야기입니다. 만약 AI에게 두 이야기에 모두 적용되는 규칙을 찾으라고 한다면, AI는 "캐릭터는 존과 메리여야 한다"라고 말할 수 없습니다. 왜냐하면 그것은 첫 번째 이야기에만 해당하기 때문입니다. 대신 AI는 "주요 등장인물은 말다툼을 해야 한다"와 같은 일반적인 규칙을 만들어내야 합니다. 이를 통해 규칙은 단일 텍스트의 구체적인 세부 사항이 아니라, 실제 인간이 요청할 법한 더 넓고 자연스러운 형태가 됩니다.

2단계: "너무 쉬움" 필터
일반적인 규칙이라 하더라도 여전히 너무 쉬운 것들이 있을 수 있습니다. 예를 들어 규칙이 "이야기는 시작이 있어야 한다"라면, 모든 이야기는 시작이 있습니다! AI는 노력도 하지 않고 이 규칙을 충족해 버립니다. UNSPECIFIC은 이를 확인하기 위해, 규칙을 보여주기 전에 AI에게 "기본 이야기(base story)"를 먼저 쓰게 합니다. 만약 AI가 일반적인 이야기를 쓰는 과정에서 우연히 규칙을 만족시켜 버린다면, 그 규칙은 "너무 쉽다"라고 표시됩니다. 그러면 시스템은 그 쉬운 규칙을 "캐릭터가 이상한 소리에 잠에서 깨며 시작해야 한다"와 같이 더 어려운 규칙으로 교체하여, AI가 실제로 생각하도록 강제합니다.

3단계: "요약 테스트"
이것이 가장 영리한 부분입니다. AI가 이야기를 다 쓴 후, 연구진은 AI에게 그 이야기를 약 25% 길이의 짧은 문단으로 요약하도록 요청합니다. 만약 AI가 단순히 문장 끝에 무작위 문장을 덧붙이는 방식(예: "그리고 이야기는 행복한 결말로 끝난다")으로 규칙을 만족시켰다면, 그 세부 사항들은 요약 과정에서 삭제될 것입니다. 만약 요약본에서도 해당 규칙이 여전히 유지된다면, 그것은 AI가 규칙을 이야기의 핵심 속에 녹여냈음을 의미합니다. 반대로 규칙이 사라졌다면, AI는 그저 피상적인 세부 사항을 이용해 지름길을 택했던 것입니다.

연구 결과

연구진이 이 새로운 시스템을 테스트에 적용했을 때, 결과는 매우 놀라웠습니다. 많은 AI 모델이 실제로 복사-붙여넣기 지름길을 사용하고 있다는 사실이 드러났습니다.

• 난이도의 도약: 새로운 UNSPECIFIC 방식을 사용했을 때, GPT-5 Mini라는 강력한 모델의 만족도는 기존의 단일 기사 기준(89.7%)에서 **78.2%**로 떨어졌습니다. 이는 AI의 성능이 나빠졌다는 뜻이 아니라, AI가 충분히 노력하지 않을 때를 포착해낼 만큼 테스트가 정교해졌음을 의미합니다.
• 복사-붙여넣기 격차: 연구진은 이전 테스트에서의 "성공" 중 상당 부분이 완전히 정확하지 않았음을 발견했습니다. 요약본을 검토한 결과, 지시 사항을 완벽하게 따르는 것처럼 보였던 많은 모델이 실제로는 "핵심 서사(core narrative)" 테스트에서 실패했습니다. 그들은 서사의 핵심이 아닌 표면적인 부분에서만 규칙을 만족시켰던 것입니다.
• 자연스러움의 승리: 새로운 제약 조건들은 훨씬 더 실제 인간의 요청처럼 느껴졌습니다. 실제로, 기존의 방식과 비교했을 때 새로운 지시 사항의 자연스러움에 대한 인간의 평가 격차는 30% 개선되었습니다.

이 논문은 단순히 지시 사항을 어렵게 만드는 것만으로는 부족하며, AI가 단순히 답을 복사해서 붙여넣을 수 없도록 지시 사항을 충분히 일반적이고 포괄적으로 만들어야 한다고 제안합니다. "두 가지 이야기" 방식과 "요약 테스트"를 사용함으로써, UNSPECIFIC은 AI가 진정으로 지시를 이해하고 있는지, 아니면 그저 "일치하는 단어 찾기" 게임을 하고 있는지를 훨씬 더 명확하게 보여줍니다.

결국, UNSPECIFIC은 단순히 AI를 더 열심히 일하게 만드는 것이 아니라, AI가 어떻게 일하고 있는지를 확실히 알기 위한 것입니다. 이는 모델이 지름길을 택하는 것을 막고 실제로 글을 쓰도록 강제함으로써, 우리가 AI가 "지시를 따르고 있다"라고 말할 때 그것이 정말로 내용을 이해하고 있음을 보장합니다.