Training with Pseudo-Code for Instruction Following

이 논문은 자연어 지시문을 의사코드 (pseudo-code) 로 변환하여 학습 데이터를 증강하는 훈련 방식을 제안함으로써, LLM 의 지시 따르기 능력을 크게 향상시키고 수학적 및 상식 추론 성능도 유지하거나 개선하는 방법을 제시합니다.

Prince Kumar, Rudra Murthy, Riyaz Bhat, Danish Contractor

게시일 2026-03-12
📖 3 분 읽기☕ 가벼운 읽기

Each language version is independently generated for its own context, not a direct translation.

이 논문은 **"거대 언어 모델 (LLM, 예: 챗봇) 이 사람의 지시를 얼마나 잘 따르는지"**를 개선하기 위한 새로운 방법을 소개합니다.

핵심 아이디어는 매우 간단하지만 효과적입니다. **"지시를 받을 때, 머릿속으로 '가짜 코드 (Pseudo-code)'를 먼저 짜고 그다음에 답을 하라"**는 훈련을 시킨 것입니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.


1. 문제: "지시 따르기"가 왜 어려울까요?

지금까지의 AI 는 사람의 말을 (자연어) 들으면 바로 답을 하려고 합니다. 하지만 지시가 복잡하거나, 여러 조건이 섞여 있으면 AI 는 길을 잃기 쉽습니다.

  • 비유: 식당에 손님이 "저기요, 스테이크는 3 분 구워주고, 감자는 튀긴 거로, 소스는 따로, 그리고 접시 가장자리에 파슬리 한 가닥만 올려주세요"라고 주문합니다.
  • 기존 AI 의 반응: "네, 알겠습니다!"라고 외치며 스테이크를 태우거나 감자를 구워버립니다. (지시의 세부 조건을 놓침)
  • 원인: 자연어는 애매모호할 수 있고, AI 가 모든 조건을 동시에 기억하고 실행하기엔 너무 복잡합니다.

2. 해결책: "가짜 코드"로 생각하기

이 연구팀은 AI 에게 **"답을 바로 말하지 말고, 먼저 요리 레시피 (코드) 를 적어보라"**고 훈련시켰습니다.

  • 새로운 방식:
    1. 손님이 주문합니다.
    2. AI 는 바로 음식을 만들지 않습니다.
    3. 대신 머릿속에서 **"1. 스테이크 3 분 구우기 -> 2. 감자 튀기기 -> 3. 소스 분리 -> 4. 파슬리 장식"**이라는 단계별 **레시피 (가짜 코드)**를 작성합니다.
    4. 그 레시피를 보고 차근차근 실행한 뒤, 최종 음식을 냅니다.

이 '가짜 코드'는 실제 컴퓨터 프로그램처럼 보이지는 않지만, 순서와 조건을 명확하게 정리하는 역할을 합니다.

3. 어떻게 훈련시켰나요? (데이터 공장의 비유)

AI 에게 이 능력을 가르치기 위해 연구팀은 다음과 같은 과정을 거쳤습니다.

  1. 생성 (Generate): AI 가 복잡한 지시를 받으면, 이를 단계별 레시피로 바꾸는 작업을 시켰습니다.
  2. 평가 (Evaluate): 그 레시피대로 실행했을 때 정답이 나오는지 확인했습니다.
  3. 수리 (Repair): 만약 레시피가 잘못되어 실패했다면, AI 가 "아, 여기가 틀렸구나"라고 스스로 고치도록 했습니다.

이 과정을 반복해서, AI 가 **"복잡한 지시 → 레시피 정리 → 실행"**이라는 흐름을 자연스럽게 익히도록 했습니다.

4. 결과는 어땠나요?

실험 결과, 이 방법을 쓴 AI 는 놀라운 변화를 보였습니다.

  • 지시 따르기 능력: 8~21% 나 향상되었습니다. (예: "문장 끝을 마침표로 하고, 3 문장만 써라" 같은 복잡한 조건도 잘 지킴)
  • 다른 능력은?: 수학 문제나 상식 퀴즈를 풀 때, 오히려 더 잘하거나 최소한 나빠지지 않았습니다. (레시피를 짜는 훈련이 논리력을 키운 셈)
  • 코드 생성 능력: 실제로 코드를 짜는 일도 더 잘하게 되었습니다.

5. 왜 중요한가요? (마치기)

이 연구의 가장 큰 장점은 **"사용자가 코드를 몰라도 된다는 점"**입니다.

  • 기존 방식: 사용자가 AI 에게 "코드처럼 생각해서 답해줘"라고 직접 말해야 했습니다. (비전문가에게는 어렵고 귀찮음)
  • 이 연구의 방식: 사용자가 그냥 "이거 해줘"라고 평범하게 말해도, AI 가 스스로 내부적으로 레시피를 짜고 정확한 답을 냅니다.

한 줄 요약:

"이 논문은 AI 에게 **'생각할 때 단계별 레시피를 먼저 짜는 습관'**을 들이게 하여, 복잡한 지시도 실수 없이 정확하게 수행하도록 만든 방법입니다."

이제 AI 는 사람의 말을 들을 때, "어? 이거 조건이 많네? 일단 단계별로 정리해볼까?"라고 생각한 뒤 답을 내놓는 똑똑한 비서가 된 것입니다.