기술 요약: 산술 추론을 위한 오류 기반 프롬프트 최적화

문제 제기

대규모 언어 모델 (LLM) 은 자연어 이해에서 탁월한 성능을 발휘하지만, 구조화된 표 데이터에 대한 정확한 산술 추론 능력은 여전히 취약하여 일관성 없거나 잘못된 수치 출력을 자주 생성합니다. 이러한 한계는 데이터 프라이버시 규정이 민감한 정보를 보안이 강화된 온프레미스 환경 내에 유지하도록 요구하여 API 기반 클라우드 모델의 사용을 배제하는 금융 및 의료와 같은 규제 산업에서 특히 중요합니다. 소형 언어 모델 (SLM) 은 프라이버시 규정 준수 대안을 제공하지만, 특수한 최적화 없이 로컬에 배포될 경우 산술 작업에서 근본적인 한계를 자주 보이며, 때로는 더 큰 모델보다도 성능이 낮습니다.

방법론

본 논문은 온프레미스 SLM 에서 실행되는 코드 생성 에이전트 (CGA) 를 강화하도록 설계된 체계적이고 오류 기반의 최적화 프레임워크를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소를 통합합니다:

1. 작업 분해 및 코드 생성: 직접적인 답변 생성 대신, 시스템은 작업을 코드 생성으로 재구성합니다. SLM 은 재구성된 테이블 (주석이 달린 값 목록으로 변환됨) 과 사용자 쿼리를 기반으로 실행 가능한 Python 코드를 생성합니다. 그런 다음 결정론적 실행기가 이 코드를 실행하여 최종 결과를 생성함으로써, 의미 해석과 산술 계산을 분리합니다.
2. 오류 기반 규칙 유도: 핵심 혁신은 비용이 많이 드는 모델 미세 조정 없이 예측 오류를 식별, 클러스터링 및 수정하는 반복적 루프입니다.
   • 특징 추출: 실패한 예측을 분석하여 계산 패턴, 코드 계산 패턴, 규모 불일치, 값 일치, 그리고 특정 오류 유형 (예: 선택, 계산, 규모, 부호, 구문, 런타임) 을 포함한 특징을 추출합니다.
   • 클러스터링: HDBSCAN 알고리즘은 해밍 거리를 기반으로 이러한 오류 예측을 클러스터링하여 공통된 근본 원인을 공유하는 그룹을 식별합니다.
   • 규칙 수립: 가장 큰 오류 클러스터에 대해 도메인 전문가가 식별된 근본 원인을 해결하기 위한 구체적인 도메인 특화 프롬프트 규칙 (DSPR) 을 수립합니다 (예: "백분율 변화"가 "퍼센트" 규모를 의미함을 명확히 함).
   • 검증: 새로운 프롬프트 규칙은 특정 오류 클러스터에 대해 맥네마르 검정 (McNemar test) 을 사용하여 검증됩니다. 규칙은 통계적으로 유의미한 개선 ($\Delta EM \geq 50\%$ 및 $p \leq 0.0625$) 을 제공하고 전역 성능을 향상시킬 때만 승인됩니다.
3. 최적 규칙 집합 ($K_{opt}$): 이 프레임워크는 규칙의 최적 수를 추구합니다. 저자들은 초기 규칙이 일반적인 오류를 수정하지만, 너무 많은 규칙 ($K > K_{opt}$) 을 추가하면 인지 과부하와 규칙 충돌로 이어져 성능이 저하된다고 주장합니다.

주요 기여

• 오류 기반 최적화 프레임워크: 오류의 근본 원인을 자동화하여 식별하고 프롬프트 규칙을 반복적으로 정제하는 새로운 알고리즘 (알고리즘 1) 으로, SLM 이 매개변수 업데이트 없이 "실수로부터 학습"할 수 있게 합니다.
• 더 큰 모델을 능가하는 성능: 이 연구는 오류 기반 프롬프트 최적화와 CGA 프레임워크를 갖춘 4B 파라미터 SLM(Qwen3 4B) 이 프라이버시를 보호하는 온프레미스 환경에서 훨씬 더 큰 GPT-3.5 Turbo보다 높은 정확도를 달성함을 보여줍니다.
• 규칙 포화도에 대한 이론적 통찰: 논문은 최적 규칙 집합 ($K_{opt}$) 의 개념을 공식화하여, SLM 최적화는 더 큰 모델에 사용되는 단순한 규칙 누적 전략과 구별되는 정보성과 인지 부하 사이의 균형을 필요로 한다고 주장합니다.

결과

이 프레임워크는 산술 계산 질문을 필터링한 TAT-QA 데이터셋에서 평가되었습니다.

• 기선 성능: 단순화된 프롬프트를 사용한 기본 Qwen3 4B 모델은 **59.96%**의 정밀 일치 (EM) 점수를 달성했습니다.
• 반복적 개선: "백분율 변화" 규모, "백분율의 변화"를 뺄셈으로 처리, 그리고 "연평균" 계산을 해결하는 세 번의 승인된 규칙 추가 반복을 통해 모델의 성능이 점진적으로 향상되었습니다.
• 최종 성능: 최적화된 Qwen3 4B 에이전트는 70.82% 의 최종 정밀 일치 (EM) 정확도를 달성했습니다.
• 비교: 이 결과는 동일한 코드 생성 에이전트 및 테이블 재구성 조건 하에서 GPT-3.5 Turbo 기선 (66.27%) 을 능가합니다. 그러나 논문은 SLM 이 전체 EM 에서 더 큰 모델과 일치했지만, 규모를 제외한 원시 수치 값 정확도 (77.06% 대 78.92%) 는 여전히 약간 낮았다고 지적하며, 규칙 조정이 형식을 효과적으로 안내하지만 핵심 산술 견고성 간의 격차를 완전히 메우지는 못할 수 있음을 시사합니다.

중요성 및 주장

본 논문은 로컬에 배포된 SLM 의 산술 한계는 근본적인 것이 아니라 추론 전략의 산물이라고 주장합니다. **작업 분해 (코드 생성)**와 체계적이고 오류 기반의 프롬프트 최적화를 결합함으로써, 완전히 온프레미스에서 작동하는 신뢰할 수 있고 해석 가능하며 산업적으로 배포 가능한 AI 어시스턴트를 개발할 수 있습니다.

저자들은 이 접근 방식이 민감한 데이터 워크플로우에 대한 비용이 많이 드는 미세 조정이나 외부 API 의존성에 대한 실현 가능한 대안을 제공한다고 강조합니다. 연구는 체계적인 오류 분석과 간결한 규칙 유도의 "청사진"을 통해 신뢰할 수 있는 표 추론 AI 를 개발하는 것이 가능하며, 이를 통해 소규모 모델이 특정 프라이버시 제약 분야에서 더 큰 모델보다 우수한 성과를 낼 수 있다고 결론지었습니다. 이 작업은 SLM 최적화가 인지 과부하를 피하기 위해 규칙 복잡성을 신중하게 관리해야 하는 고유한 분야임을 강조합니다.