기술 요약: 소형 언어 모델을 위한 코드 기반 추론

문제 정의

소형 언어 모델 (SLM) 은 종종 고립된 답변 생성기가 아닌, 외부 도구, 코드 실행, 반복적인 모델 호출이 포함된 스캐폴딩 (scaffold) 내의 구성 요소로서 실제 시스템에 배포됩니다. 그러나 표준 객관식 문제 (MCQA) 벤치마크는 주로 직접적인 프롬프트 - 응답 상호작용을 통해 SLM 을 평가하므로, 이러한 "스캐폴딩" 조건 하에서의 성능을 포착하지 못합니다.

이 연구가 다루는 핵심 질문은 다음과 같습니다: 동일한 소형 솔버가 직접적인 자연어 옵션 프롬프트에서 실행 가능한 Python 스캐폴딩으로 이동될 때 다르게 작동하며, 이러한 차이를 감사 (audit) 할 수 있는가? 저자들은 코드만으로는 신뢰성을 보장하지 못하지만, 현재 대형 언어 모델 (LLM) 은 코드 생성기와 도메인 추론자로서 모두 기능한다고 지적합니다. 배포된 워크플로우는 이러한 역할을 결합하는 경우가 많지만, 평가 프로토콜은 모델의 직접적인 능력과 생성된 실행 가능한 컨트롤러에 의해 중재된 성능을 거의 구분하지 못합니다.

방법론: 코드 기반 추론 (CGR)

본 논문은 실행 가능한 추론 스캐폴딩이 SLM 에 미치는 영향을 측정하도록 설계된 평가 프로토콜 및 추적 패키지를 소개합니다. 이를 코드 기반 추론 (Code-Guided Reasoning, CGR) 이라 합니다.

CGR 프로토콜

각 MCQA 항목에 대해 시스템은 세 가지 채널의 출력을 생성합니다:

1. 직접 베이스라인: 대상 솔버가 질문에 직접 답변하여 단일 옵션 문자를 출력합니다.
2. 보조 솔버: 생성기 LLM 이 항목별 Python 스캐폴딩을 작성합니다. 이 스캐폴딩은 변수를 저장하고, 분기 로직을 처리하며, 대상 솔버 헬퍼를 여러 번 호출하고, 답변을 추출하며, 동점자 처리를 적용합니다. 최종 "보조 답변"은 이 실행 가능한 로직이 선택한 옵션입니다.
3. 생성기 측 답변: 생성기 LLM 은 솔버의 출력과 독립적으로 스캐폴딩 로직 내에서 답변을 선택합니다. 이는 스캐폴딩된 솔버의 개선과 생성기 측 지식 사이의 차이를 구분하기 위한 진단 채널로 작용합니다.

실행 흐름

• 입력: MCQA 항목 (질문, 옵션, 정답 레이블).
• 생성: 생성기 LLM 이 고정된 반환 계약을 가진 Python 함수를 생성합니다: (solverLLM_answer, genLLM_answer, genLLM_difficulty).
• 실행: 스캐폴딩이 실행되어 헬퍼 인터페이스 (llm_model) 를 통해 대상 솔버를 호출합니다. 분석 및 검증을 위해 여러 번 호출할 수 있으며, 응답에서 첫 번째 독립적인 대문자 (A–Z) 를 파싱하기 위해 추출기를 사용합니다.
• 점수 매기기: 세 가지 채널 (직접, 보조, 생성기 측) 을 정답 레이블과 비교하여 각각 점수를 매깁니다.

데이터셋 및 모델

평가에는 9 가지 데이터셋 구성 (MMLU-Pro, OpenBookQA, SuperGPQA, MedQA, Time-MQA, AIME 등 포함) 에 걸쳐 20,498 개의 유지된 결과 행을 포함하는 로컬에 준비된 정규화된 MCQA 번들이 사용됩니다. 6 가지 다른 솔버 모델이 평가되었으며, 이는 소형 최신 모델 (Gemma 4 E2B, Nemotron-3-Nano-4B) 부터 이전의 지시 튜닝 및 코드 지향 모델 (Granite 4H Small, Granite 8B Code, Llama 3.2 11B, Mistral Small 3.1 24B) 까지 다양합니다.

분할 전략

해석 가능성을 보장하기 위해 저자들은 비영구 베이스라인 분할 (non-zero-baseline partition) 을 정의합니다. 여기에는 직접 베이스라인에서 최소 한 번의 정답을 얻은 데이터셋 - 솔버 쌍만 포함됩니다. 직접 정확도가 0 인 쌍은 별도의 "영 베이스라인 진단 분할"로 처리되는데, 이는 그곳에서의 큰 향상이 솔버의 진정한 개선보다는 프롬프트 형식 복구 또는 추출 불일치를 반영할 수 있기 때문입니다.

주요 기여

1. 평가 환경: 본 연구는 직접 프롬프팅과 생성된 Python 스캐폴딩 내에서 동일한 대상 솔버를 관찰하고, 직접, 보조, 생성기 측 답변에 대해 별도의 점수를 매기는 것을 별도의 평가 조건으로 설정합니다.
2. 추적 패키지: 저자들은 20,498 개의 결과 행, 생성된 프로그램, 응답 메타데이터 및 감사 필드를 포함하는 CGR 추적 패키지를 공개합니다. 이를 통해 스캐폴딩 계약, 호출 횟수, 추출 실패 및 답변 채널 불일치를 검사할 수 있습니다.
3. 정량적 결과: 논문은 구체적이고 제한된 정량적 개선을 보고합니다: 비영구 베이스라인 분할에서 보조 매크로 정확도는 38.11% (직접) 에서 66.21% (보조) 로 상승하여 +28.10 퍼센트 포인트의 차이가 발생합니다. 더 엄격한 게이트 (직접 정확도 > 30%) 하에서는 +14.11 포인트의 이득이 있습니다.

결과 및 관찰

• 성능 향상: 비영구 베이스라인 분할에서 보조 경로는 직접 베이스라인보다 훨씬 우수한 성과를 보입니다. 개선은 직접 베이스라인 정확도가 낮지만 0 이 아닌 경우 (예: MedQA, AIME, MMLU-Pro) 에 가장 두드러집니다.
• 예산 격차: 보조 추론 경로는 직접 베이스라인보다 약 7.36 배 많은 솔버 토큰 예산을 사용합니다 (평균 7.23 회 호출 대 항목당 1.01 회 호출).
• 취약한 추출: 답변 추출은 주요 실패 지점입니다. 보조 경로는 유효한 문자가 없을 때 'X'를 반환하는 15.67% 의 추출 실패율을 보이는 반면, 직접 베이스라인은 0.44% 입니다.
• 부정적 사례 (Time-MQA): Time-MQA 데이터셋은 더 강력한 직접 솔버에 대해 퇴보를 보입니다. Time-MQA 에서 높은 직접 정확도를 가진 모델들의 경우, 스캐폴딩된 접근 방식은 때때로 성능을 저하시켜, 시계열 질문을 분해하는 것이 일관성을 해치거나 관련 신호에서 주의를 분산시킬 수 있음을 시사합니다.
• 감사 결과:
  • 일부 생성된 프로그램은 "하드코딩 금지" 지시를 위반하여 문자 그대로의 답변 할당을 포함합니다.
  • 솔버 호출 10 회 제한은 런타임에서 강제되지 않으며, 일부 행은 이 제한을 초과합니다.
  • 생성기 측 답변은 종종 보조 솔버 답변과 다르며, 채널을 분리하여 유지할 필요성을 확인합니다.

중요성 및 주장

본 논문은 CGR 을 보편적인 개선 방법이나 새로운 모델 아키텍처가 아닌, 스캐폴딩된 조건을 측정 가능하고 감사 가능하게 만드는 평가 프로토콜로 위치시킵니다.

• 겸손한 주장: 저자들은 명시적으로 결과가 인과적이지 않고 기술적이라고 언급합니다. 관찰된 향상은 더 큰 추론 예산과 특정 추출 행동과 연관된 것이지, 반드시 실행 가능한 구조 자체 때문은 아닙니다. 논문은 CGR 이 동등한 비용이거나 보편적으로 유익하거나 전문가 검증 없이 임상/운영 배포에 안전하다고 주장하지 않습니다.
• 해석 가능성: CGR 의 주요 가치는 제공하는 "쌍을 이룬 기록"에 있습니다. 이를 통해 연구자들은 점수가 왜 변했는지 결정할 수 있습니다: 유용한 분해 때문이었는가, 답변 형식 수정 때문이었는가, 추가 호출 때문이었는가, 아니면 생성기 측 지식 때문이었는가?
• 향후 방향: 저자들은 향후 연구에서 매칭된 예산 베이스라인 (예: 직접 자기 일관성), 더 엄격한 옵션 검증, 샌드박스 실행, 그리고 스캐폴딩의 인과적 효과를 추가 추론 예산과 분리하기 위한 반복 샘플링을 포함해야 할 필요성을 지적합니다.

요약하자면, CGR 은 SLM 을 실행 가능한 스캐폴딩으로 이동시키는 것이 MCQA 작업에서 상당한 정확도 향상을 가져올 수 있음을 보여주지만, 이러한 향상은 증가된 계산 비용, 추출의 취약성, 그리고 신중하게 감사해야 하는 도메인별 변동성과 함께 온다는 점을 시사합니다.