Is Large Language Model Performance on Reasoning Tasks Impacted by Different Ways Questions Are Asked?

이 문서는 "추론 작업에서 대형 언어 모델의 성능이 질문 방식에 따라 영향을 받는가?"라는 제목의 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

대형 언어 모델 (LLM) 은 다양한 벤치마크를 통해 추론 작업에 대해 광범위하게 평가받고 있지만, 질문의 형식(단답형, 객관식, 참/거짓) 이 모델 성능에 어떻게 영향을 미치는지에 대한 이해는 부족합니다. 기존 벤치마크는 이러한 형식들을 상호 교환 가능한 것으로 간주하는 경우가 많지만, 선택지의 수, 정답의 위치, 특정 단어 선택과 같은 요소들은 편향을 도입하거나 추론 과정을 변경할 수 있습니다.

저자들은 다섯 가지 구체적인 연구 질문 (RQs) 에 대한 답변을 목표로 합니다:

1. 질문 유형이 **최종 선택 **(FS)에 영향을 미치는가?
2. 질문 유형이 추론 정확도(중간 단계의 정확성) 에 영향을 미치는가?
3. 다양한 질문 유형에서 잘못된 출력의 패턴은 무엇인가?
4. 객관식 문제 (MCQ) 에서 성능에 영향을 미치는 구체적인 요소는 무엇인가?
5. 참/거짓 문제 (TFQ) 에서 성능에 영향을 미치는 구체적인 요소는 무엇인가?

2. 방법론

데이터셋 및 작업

이 연구는 두 가지 다른 추론 작업에서 LLM 을 평가합니다:

• 정량적 추론: GSM8K 데이터셋 (초등학교 수학 응용 문제) 사용.
• 연역적 추론: bAbI 데이터셋의 수정된 하위 집합 (지지 사실을 포함한 사실 기반 QA) 사용.
• 데이터 양: 각 데이터셋에서 300 개의 문제가 무작위로 선택되었습니다. bAbI 의 경우 복잡성을 높이기 위해 각 문제에 두 개의 관련 없는 사실이 추가되었습니다.

질문 유형 변환

각 문제는 세 가지 형식으로 변환되었습니다:

1. **단답형 질문 **(SAQ): 모델이 추론 단계와 최종 답을 생성합니다.
2. **객관식 질문 **(MCQ): 모델이 옵션 목록에서 선택합니다.
   • 옵션 수: 5 개 옵션과 11 개 옵션으로 테스트.
   • 특수 옵션: 모델이 제공된 수치 값 외의 답을 선택할 수 있는지 테스트하기 위해 "다른 것 (Something else)" 옵션을 포함.
   • 정답 위치 테스트: 균등 분포 (U), '다른 것'을 제외한 균등 분포 (U-SEO), '다른 것'만 포함 (oSEO) 의 세 가지 분포로 테스트.
   • 오답: 특정 오차 범위 (5% 또는 20% 편차) 또는 무작위 방정식 생성으로 오답 생성.
3. **참/거짓 질문 **(TFQ): 모델이 진술을 판단합니다.
   • 형식: "질문 형식"(답이 X 입니까?) 대 "진술 형식"(답은 X 입니다).
   • 정답 여부: '참'과 '거짓'을 모두 정답으로 테스트.
   • 지시사항: 답변 전에 "먼저 풀기"라는 지시사항 유무로 테스트.
   • 표현: "참/거짓" 대 "예/아니오"로 테스트.

평가된 모델

다섯 가지 LLM 이 테스트되었습니다:

• 클로즈드 소스: GPT-4o, GPT-3.5-turbo.
• 오픈 소스: Llama-3 8B, Llama-3.2 1B, Gemma 7B.
• 구성: Greedy decoding (temperature = 0), zero-shot 설정.

평가 지표

1. **최종 선택 **(FS): 최종 출력과 정답 간의 자동 문자열 매칭.
2. 추론 정확도: 중간 추론 단계에 대한 수동 평가. 엄격한 기준이 적용되었습니다: 모든 추론 단계가 정확해야 추론이 정확하다고 간주됩니다.

통계 분석

질문 유형 간의 통계적 유의성 ($p < 0.05$) 을 결정하기 위해 **양측 쌍체 윌콕슨 부호 순위 검정 **(two-sided paired Wilcoxon signed-rank test)이 사용되었습니다.

3. 주요 기여

1. 종합적 벤치마크 설계: 이전 문헌의 공백을 해소하기 위해 객관식 옵션 수 (5 대 11), 정답 위치, 참/거짓 질문 문구를 체계적으로 변형하는 새로운 실험 설계.
2. 지표 분리: 추론 정확도와 최종 선택 정확도를 명시적으로 분리하여, 이 둘이 항상 상관관계가 있음을 보여주는 것.
3. 실증적 발견: "다른 것"이라는 단어에 대한 민감성, 정답의 위치, 참/거짓 질문의 문구와 같은 LLM 의 특정 편향 식별.
4. 오픈 소스: 저자들이 코드와 벤치마크를 공개적으로 출시함.

4. 주요 결과

RQ1 및 RQ2: 질문 유형이 정확도에 미치는 영향

• 최종 선택 대 추론 상관관계: 추론 정확도와 최종 선택 정확도 사이에는 일관된 상관관계가 없음.
  • 관찰: 모델은 종종 추론이 결함이 있음에도 불구하고 (특히 객관식과 참/거짓 질문에서) 최종 답을 올바르게 추측함. 반대로, 모델은 때때로 올바른 추론을 도출하지만 해당 옵션을 선택하지 못함 (예: 포맷팅 오류나 "다른 것"에 대한 오해로 인해).
• 성능 변동: 질문 유형 간 최종 선택 정확도에 상당한 차이가 존재함.
  • 단답형 대 객관식: "다른 것"이 정답일 때 특히 단답형이 객관식보다 일반적으로 더 나은 성능을 보임.
  • 단답형 대 참/거짓: 일부 모델의 경우 정답이 "거짓"인 참/거짓 질문이 단답형보다 더 높은 최종 선택 정확도를 보이며, 이는 모델이 정확한 숫자를 유도하는 것보다 "거짓"을 더 쉽게 추측할 수 있음을 시사함.

RQ3: 잘못된 출력의 패턴

이 연구는 다음과 같은 명확한 실패 패턴을 식별했습니다:

• 좋은 추측: 모델은 잘못된 추론 단계를 출력하지만 최종 답을 올바르게 추측함 (참/거짓 질문에서 흔함).
• 근접성: 모델이 정답과 가까운 값을 계산하고 계산이 약간 틀렸더라도 가장 가까운 옵션을 선택함.
• SEO 오해: 모델이 추론이 답이 목록에 없음을 나타낼 때조차 "다른 것"을 선택하는 데 어려움을 겪음; 종종 가장 가까운 수치 옵션을 강제로 선택함.
• 선택 누락: 모델은 추론을 올바르게 완료하지만 최종 선택 토큰을 출력하지 못함.

RQ4: 객관식 성능에 영향을 미치는 요인

• 옵션 수: 옵션을 5 개에서 11 개로 늘리면 (특히 작은 모델인 Gemma, Llama-1B 의 경우) 최종 선택 정확도가 일반적으로 감소함. 이는 모델이 계산하기보다 추측하고 있을 가능성을 시사함.
• 정답 위치: 모델은 정답이 "다른 것"이 아닐 때 (U-SEO) 가장 잘 수행함. "다른 것"이 유일한 정답일 때 (oSEO) 성능이 크게 떨어짐.
• 단어 선택: "다른 것"을 "위의 모든 것"으로 대체하면 GPT-3.5 의 최종 선택 정확도가 크게 향상되어 옵션 문구에 대한 민감성을 나타냄.

RQ5: 참/거짓 질문 성능에 영향을 미치는 요인

• 질문 대 진술: 진술 형식(답은 X 입니다) 이 질문 형식 (답이 X 입니까?) 보다 일반적으로 더 높은 최종 선택 정확도를 보임.
• 참 대 거짓: 모델은 일반적으로 **"참"**이 정답일 때 더 잘 수행하지만, 일부 모델 (GPT-3.5, Llama-8B) 은 정량적 작업에서 "거짓"일 때 더 높은 최종 선택 정확도를 보임.
• **표현 **(예/아니오 대 참/거짓): "참/거짓"을 "예/아니오"로 대체하면 "먼저 풀기" 지시사항이 제공되지 않는 한 GPT-3.5 의 경우 성능이 통계적으로 유의미하게 감소함 (최대 약 26%).

5. 중요성 및 함의

• 벤치마크 유효성: 이 연구는 현재 벤치마크의 신뢰성에 의문을 제기함. 객관식에서 모델의 높은 점수는 진정한 추론 능력보다는 추측이나 패턴 매칭을 반영할 수 있음.
• 평가 전략: 연구자들은 최종 선택 정확도에만 의존해서는 안 됨. 모델이 실제로 문제를 해결하는지 아니면 단순히 올바른 옵션을 선택하는지 이해하기 위해 추론 정확도를 평가하는 것이 중요함.
• 프롬프트 엔지니어링: 옵션의 구체적인 문구 ("위의 모든 것" 대 "다른 것") 와 참/거짓 질문의 형식은 성능에 상당한 영향을 미침. 공정한 평가를 위해서는 표준화되고 신중하게 설계된 프롬프트가 필요함.
• 향후 방향: 향후 벤치마크는 편향, 선택지 수, 지시사항의 구체적인 문구를 고려하여 선택 편향이 아닌 추론을 측정하도록 해야 함.

결론적으로, 이 논문은 질문하는 방식이 LLM 성능을 근본적으로 변화시킨다는 것을 보여주며, 이는 종종 올바른 답을 선택하는 능력과 추론하는 능력을 분리시킵니다. 이는 LLM 평가 및 벤치마크 설계에 더 세밀한 접근이 필요함을 시사합니다.