기술 요약: DECRIM을 통한 LLM 자기 수정 (LLM Self-Correction with DECRIM)

문제 정의

대규모 언어 모델(LLM)은 지시 이행(instruction following) 측면에서 인상적인 능력을 보여주었으나, 최근 연구에 따르면 여러 가지 제약 조건(예: 특정 어조, 길이, 그리고 "해시태그 제외"와 같은 부정적 제약 조건)이 동시에 포함된 지시를 수행하는 데 상당한 어려움을 겪는 것으로 나타났다. 이러한 능력을 평가하기 위한 기존 벤치마크들은 주로 합성 데이터(synthetic data)에 의존하고 있는데, 이는 실제 사용자의 요청이 가진 복잡성, 미묘함, 그리고 인위적인 난이도를 제대로 포착하지 못할 수 있다. 또한, 현재의 자기 수정 방식은 제약 조건의 독립성을 가정하거나 특정 유형의 제약 조건에만 집중하는 경우가 많아, 개방형 다중 제약 시나리오에 적용하는 데 한계가 있다. 또한, 이러한 복잡한 지시에 대해 신뢰할 수 있고 비용 효율적인 평가 방법을 찾는 데에도 공백이 존재한다. 규칙 기반 평가는 개방형 작업에 적용하기 어려운 경우가 많기 때문이다.

방법론

1. REALINSTRUCT 벤치마크

합성 데이터에 대한 의존도를 해결하기 위해, 저자들은 실제 세계의 다중 제약 지시를 평가하기 위해 설계된 최초의 벤치마크인 REALINSTRUCT를 도입한다.

• 데이터 소스: AI 어시스턴트에 대한 실제 사용자 쿼리(ShareGPT에서 추출)로부터 유도되었으며, 제약 조건이 포함된 영어 지시문만을 남기도록 필터링되었다.
• 구조: 각 지시는 작업(Task)(주요 목표), 문맥(Context), 그리고 세분화된 제약 조건(Constraints) 목록으로 분해된다.
• 규모: 테스트 세트는 302개의 지시문과 1,055개의 제약 조건을 포함하며, 검증 세트는 842개의 지시문과 2,500개의 제약 조건을 포함한다.
• 평가 프로토콜: 데이터의 개방형 특성 때문에, 이 벤치마크는 LLM-as-a-Judge(판사로서의 LLM) 방식을 채택한다. 제약 조건은 개별적으로 평가되며, 결과는 지시문 수준의 정확도 지표로 집계된다.

2. LLM-as-a-Judge 검증

저자들은 제약 조건 충족 여부를 평가하는 데 있어 독점 모델(GPT-4, GPT-4-Turbo, GPT-3.5-Turbo)과 오픈 소스 모델(Mistral, Vicuna, Zephyr)을 인간의 주석(human annotations)과 비교하여 LLM의 신뢰성을 조사한다.

• EvalJudge 데이터셋: 인간이 검증한 정답 레이블이 포함된 1,000개의 지시문-제약조건-응답 삼중항(triples)으로 구성된 테스트 세트이다.
• 전략: Chain-of-Thought(CoT) 프롬프팅을 활용한 인컨텍스트 학습(ICL) 및 오픈 소스 모델을 위한 약지도 미세 조정(weakly supervised fine-tuning)을 포함한 다양한 적응 전략이 테스트되었다.
• 결과: CoT 프롬프팅을 사용하는 GPT-4-Turbo가 가장 비용 효율적이고 신뢰할 수 있는 평가자로 나타났으며, 미충족 제약 조건을 탐지하는 데 있어 오픈 소스 모델보다 성능이 현저히 뛰어났다.

3. DECRIM 파이프라인 (Decompose, Critique, and Refine)

오픈 소스 모델과 독점 모델 간의 성능 격차를 줄이기 위해, 저자들은 System 2 접근 방식에 기반한 자기 수정 파이프라인인 DECRIM을 제안한다. 이 방식은 제약 조건의 독립성에 대한 가정을 하지 않으며, 네 단계의 반복적인 과정으로 구성된다:

1. 초기 응답(Initial Response): LLM이 원래의 지시에 대한 응답을 생성한다.
2. 분해(Decompose): 분해 모델(Decomposer model)이 원래의 지시를 따라야 할 세분화된 제약 조건 목록으로 나눈다.
3. 비판(Critique): 비판 모델(Critic model)이 각 제약 조건에 대해 응답을 평가한다. 모든 제약이 충족되면 프로세스가 종료된다. 충족되지 않은 경우, 비판 모델은 어떤 제약 조건이 위반되었는지 명시하는 자연어 피드백을 제공한다.
4. 정제(Refine): 기본 LLM은 피드백, 원래의 지시, 그리고 이전 응답을 사용하여 개선된 출력을 생성한다.

이 사이클은 제약 조건이 충족되거나 최대 반복 횟수($N_{max}$)에 도달할 때까지 반복된다.

주요 기여

1. REALINSTRUCT: 실제 AI 어시스턴트에 대한 실제 사용자 요청으로 구성된 새로운 벤치마크로, 합성 데이터셋에 비해 다중 제약 지시 이행에 대한 더 현실적인 평가를 제공한다.
2. DECRIM 파이프라인: 지시를 분해하고, 전용 비판 모델을 통해 응답을 비판하며, 출력을 정제하는 자기 수정 프레임워크이다. 이는 제약 조건의 독립성을 가정하지 않고 작동하는 최초의 제약 지시용 System 2 접근 방식이다.
3. LLM-as-a-Judge에 대한 체계적 분석: 제약 조건 충족에 대한 판사로서의 오픈 소스 및 독점 모델에 대한 최초의 체계적인 평가를 수행하였으며, CoT를 사용하는 GPT-4-Turbo가 인간 주석의 신뢰할 수 있는, 비용 효율적인 대안임을 확인하였다.

결과

벤치마크 성능 (REALINSTRUCT & IFEval)

• 베이스라인의 한계: 독점 모델인 GPT-4조차 REALINSTRUCT의 지시문 중 21% 이상에서 적어도 하나의 제약 조건을 충족하지 못한다. 오픈 소스 모델(예: Mistral 7B)은 일반적으로 GPT-4보다 성능이 낮지만, GPT-3.5보다는 우수한 성능을 보인다.
• DECRIM의 효능:
  • 약한 피드백(Weak Feedback): 외부 데이터 없이 약지도 학습된 Mistral을 비판 모델로 사용했을 때, DECRIM은 "Make sure" 베이스라인과 비교하여 REALINSTRUCT에서 7.3%, IFEval에서 **8.0%**의 지시문 수준 성능 향상을 보였다.
  • 강한 피드백(Strong Feedback): 강한 피드백(Oracle Critic 또는 GPT-4)이 제공될 때, DECRIM을 적용한 오픈 소스 LLM은 두 벤치마크 모두에서 GPT-4를 능가했다. 구체적으로, Oracle Critic과 함께 사용할 때 Mistral은 REALINSTRUCT에서 **93.7%**의 지시문 정확도(GPT-4의 78.8% 대비)와 IFEval에서 80.4%(GPT-4의 79.3% 대비)를 달성했다.
• 자기 수정의 한계: 표준 자기 정제(모델 스스로가 자신의 비판자가 되는 방식)는 미미한 이득을 보이거나 오히려 성능 저하를 일으켰으며, 이는 별도의 외부 또는 구별된 비판 모델의 필요성을 강조한다.

평가 신뢰성

• GPT-4-Turbo: CoT 프롬프팅을 사용하면 GPT-4 대비 비용을 57% 절감하면서도 Macro F1을 7.0% 개선하고, F-Negative(위반 탐지)를 19.0% 개선할 수 있었다.
• 오픈 소스 판사: 일반적인 오픈 소스 모델은 관대하거나 무작위적인 동작을 보이는 등 신뢰할 수 없는 판사였다. 그러나 GPT-4의 추론 경로(reasoning trails)를 통한 약지도 미세 조정을 거치면 미충족 제약 조건을 탐지하는 능력이 크게 향상되었다.

의의 및 주장

본 논문은 최첨단 모델들조차 빈번하게 실패하는 가운데, 실제 세계의 다중 제약 지시를 따르는 것이 여전히 중요한 과제라고 주장한다. 저자들은 DECRIM 파이프라인이 응답 생성과 평가 및 정제 과정을 분리함으로써 이 문제를 효과적으로 해결한다고 상정한다.

이 연구는 다음을 입증한다:

1. 실제 데이터는 구별된다: 합성 벤치마크는 실제 사용자의 제약 사항이 가진 도전 과제를 완전히 포착하지 못하므로, REALINSTRUCT와 같은 벤치마크가 필요하다.
2. 피드백의 품질이 가장 중요하다: 자기 수정의 성공은 비판 모델이 제공하는 피드백의 품질에 크게 의존한다. 오픈 소스 모델은 스스로 수정하는 데 어려움을 겪지만, 고품질의 외부 피드백이 제공될 경우 독점 모델을 능가하는 성능을 낼 수 있다.
3. System 2의 생존 가능성: DECRIM 접근 방식은 복잡한 지시 이행을 위한 System 2 기술(분해 및 반복적 정제)의 유용성을 검증하며, 강력한 교정 파이프라인이 갖춰진다면 오픈 소스 모델이 독점 모델과 경쟁할 수 있음을 시사한다.

저자들은 DECRIM이 계산 오버헤드를 발생시키지만, 특히 강력한 피드백 메커니즘이 가용할 때 지시 이행 능력을 향상시키는 실행 가능한 경로를 제공한다고 결론짓는다. 향후 연구로는 파이프라인 구성 요소를 정교화하고 DECRIM을 self-consistency와 같은 다른 System 2 접근 방식과 통합하는 것이 제안되었다.