기술 요약: 다양한 LLM vs 다양한 질문 해석?

문제 제기

머신러닝 시스템에 다양성을 통합하는 것은 구성 요소가 상호 보완적인 방식으로 실패하는 앙상블 방법에서 특히 견고성과 성능을 향상시키는 잘 확립된 전략입니다. 그러나 대규모 언어 모델 (LLM) 의 맥락에서 다양성을 효과적으로 활용하는 것은 여전히 어렵습니다. 전통적인 앙상블 접근법은 종종 모델 다양성에 의존하여 여러 개의 서로 다른 LLM 에서의 출력을 집계합니다. 이 접근법의 중요한 한계는 독립적으로 개발된 LLM 이 근본적인 훈련 데이터나 아키텍처 편향을 공유할 수 있어 정확도 향상을 제한하는 양의 상관관계를 가진 오류를 초래한다는 점입니다.

본 논문은 다음과 같은 연구 질문에 답합니다: "질문 해석의 다양성이 모델 다양성에 대한 효과적인 대안이 될 수 있는가?" 저자들은 단일 질문에 대한 여러 의미적 해석을 생성하고 단일 모델에서 얻은 답변을 집계하는 것이, 단일 해석에 대해 여러 모델에서 얻은 답변을 집계하는 것보다 더 나은 성능을 보이는지 조사합니다.

방법론

이 연구는 BoolQ, StrategyQA, PubMedQA라는 세 가지 데이터셋에 걸쳐 이진 질문 (예/아니오) 을 답변하기 위한 두 가지 앙상블 전략을 비교합니다.

1. 다양성 접근법

• 모델 다양성: 세 개의 서로 다른 LLM 이 단일 고정된 해석을 사용하여 동일한 질문에 답합니다. 최종 답변은 다수결 투표로 결정됩니다.
• 질문 해석 다양성: 단일 LLM 이 동일한 질문에 대한 세 가지 서로 다른 의미적 해석을 생성합니다. 그런 다음 모델은 각 해석에 대해 개별적으로 답변합니다. 최종 답변은 이러한 해석 간의 다수결 투표로 결정됩니다.

2. 실험 설정

• 모델: 이 연구는 상업용 모델 (OpenAI 의 GPT-3.5-turbo, GPT-3.5-turbo-instruct, GPT-4) 과 오픈 가중치 모델 (LLaMA-2-7b, LLaMA-3-8B, LLaMA-3-8B-Instruct) 을 모두 평가합니다.
• 프롬프트 전략:
  • 모델 변이성을 도입하지 않고 해석을 생성하기 위해, 특정 프롬프트 (pmulti-step1) 를 사용하여 단일 모델 (GPT-3.5-turbo) 로부터 최소 세 가지 이상의 서로 다른 의미적 해석을 생성합니다.
  • 앙상블의 각 모델은 두 번째 프롬프트 (pmulti-step2) 를 사용하여 특정 해석에 답합니다. 이 프롬프트는 모델에게 해석을 재진술하고, 관련 사실을 제시하며, <answer>Yes</answer> 또는 <answer>No</answer>로 답변을 요약하도록 지시합니다.
• 답변 추출 및 검증:
  • 원시 LLM 출력은 추출 휴리스틱 (Match First 및 Match Pattern) 을 통해 처리되어 {yes, no, none, depends, unclear}의 집합으로 정규화된 요약 답변으로 변환됩니다.
  • 추출된 답변과 정답 (ground truth) 을 비교하여 정확도 점수를 계산합니다.
• 앙상블 합의: 앙상블 구성원 (서로 다른 해석 또는 서로 다른 모델) 의 요약 답변에 다수결 투표를 적용하여 최종 출력을 결정합니다.

주요 결과

실험은 질문 해석 다양성이 앙상블 정확도 측면에서 모델 다양성보다 일관되게 우월함을 보여줍니다.

1. 성능 비교

• 해석 다양성: 다양한 해석에 대한 투표는 기준선 (직접 질문) 에 비해 정확도를 일관되게 향상시켰으며, 종종 최고의 개별 앙상블 구성원의 성능을 능가했습니다. 이는 BoolQ 와 StrategyQA 데이터셋의 LLaMA 기반 앙상블에서 특히 두드러졌습니다.
• 모델 다양성: 다양한 모델에 대한 투표는 일반적으로 최고의 개별 구성원과 최악의 개별 구성원 사이의 결과를 산출했습니다. 이는 최고의 단일 모델보다 큰 개선을 거의 제공하지 않았으며, 일부 경우 (예: PubMedQA 의 LLaMA 모델) 에는 최고의 구성원보다 성능이 낮았습니다.

2. 정량적 발견

• 정확도 차이: 앙상블 정확도를 최고의 개별 구성원과 비교할 때:
  • 모델 다양성: ChatGPT 의 경우 -3.73, LLaMA 의 경우 -10.53 의 음의 평균 정확도 차이를 보였으며, 이는 앙상블이 종종 최고의 단일 모델보다 낮은 성능을 보임을 나타냅니다.
  • 해석 다양성: ChatGPT 의 경우 -1.35, LLaMA 의 경우 +11.12 의 양의 평균 정확도 차이를 보였으며, 이는 해석 다양성이 앙상블을 최고의 개별 구성원의 성능에 더 가깝게 하거나 능가하도록 일관되게 기여함을 나타냅니다.
• 데이터셋별 세부 사항: 해석 다양성의 이점은 오픈 가중치 LLaMA 모델에서 가장 두드러졌으며, 이는 모델 아키텍처나 가중치를 변경하는 것보다 질문의 의미적 프레임을 변경하는 것이 오류 수정을 위한 더 효과적인 메커니즘임을 시사합니다.

중요성과 주장

본 논문은 LLM 기반 앙상블에서 모델 다양성과 질문 해석 다양성을 직접 비교한 최초의 작업임을 주장합니다.

• 주요 기여: 저자들은 이진 QA 작업의 경우 질문 해석의 다양성이 모델 다양성보다 더 효과적인 설계 선택임을 입증합니다. 이 접근법은 단일 모델을 사용하여 성능 향상을 가능하게 하므로, 여러 개의 서로 다른 모델을 관리하는 비용 없이 집중적인 튜닝과 프롬프트 엔지니어링을 통해 개발을 간소화할 수 있습니다.
• 이론적 함의: 결과는 견고한 앙상블에 필요한 "실패 다양성"이 아키텍처 다양성에 의존하는 대신 입력의 의미적 맥락 (해석) 을 변경함으로써 달성될 수 있음을 시사합니다. 아키텍처 다양성은 공유된 실패 패턴으로 고통받을 수 있습니다.
• 주장의 겸손함: 저자들은 연구가 이진 질문과 특정 데이터셋으로 제한됨을 인정하며 한계를 명시합니다. 그들은 개방형 생성 작업에 대한 보편적 적용을 주장하지 않으며, 비이진 질문에 대한 답변 검증을 위해서는 다른 휴리스틱 (예: 의미적 유사성) 이 필요하다고 지적합니다. 또한, 해석을 생성하는 오버헤드가 지연 시간을 초래하며, 더 많은 모델을 추가하는 것보다 더 많은 해석을 추가하는 것의 확장성은 여전히 열린 질문이라고 언급합니다.

결론적으로, 본 논문은 모델 다양성에만 의존하는 것보다 질문 해석을 통한 추론 시 다양성을 활용하는 것이 LLM 앙상블 정확도를 향상시키기 위한 더 우수하고 효율적인 전략이라고 주장합니다.