💬 NLP

CoAct: Co-Active LLM Preference Learning with Human-AI Synergy

이 논문은 자기 보상과 능동 학습을 전략적으로 결합하여 인간-AI 시너지를 실현하는 'CoAct' 프레임워크를 제안하며, 이를 통해 제한된 인간 피드백으로도 다양한 추론 작업에서 기존 방법론을 능가하는 성능 향상을 달성함을 보여줍니다.

원저자: Ruiyao Xu, Mihir Parmar, Tiankai Yang, Zhengyu Hu, Yue Zhao, Kaize Ding

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ruiyao Xu, Mihir Parmar, Tiankai Yang, Zhengyu Hu, Yue Zhao, Kaize Ding

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

COACT: AI 와 인간의 '최고의 파트너십'으로 배우는 방법

이 논문은 인공지능 (AI) 이 더 똑똑해지기 위해 어떻게 인간의 도움과 스스로의 학습을 적절히 섞어서 배워야 하는지 설명합니다. 바로 **'COACT'**라는 새로운 방법을 제안한 것입니다.

이걸 이해하기 쉽게 요리사와 요리 학교의 비유로 설명해 드릴게요.

🍳 문제 상황: 요리사가 혼자 배우기엔 한계가 있어

AI(로봇 요리사) 가 맛있는 요리를 배우려면 수많은 레시피와 피드백이 필요합니다.

사람이 직접 가르치는 방법 (기존의 '활성 학습'):
- 최고의 미식가 (사람) 가 요리사의 요리를 하나하나 시식하고 "이건 너무 짜다, 이건 맛있다"라고 알려줍니다.
- 장점: 정말 정확한 피드백을 받습니다.
- 단점: 미식가는 시간이 부족해서 요리사가 만든 모든 요리를 맛볼 수 없습니다. 결국 요리사는 배울 기회가 적어집니다.
스스로 가르치는 방법 (기존의 '자기 보상'):
- 요리사 스스로 요리를 만들고, "내가 만든 이 요리는 훌륭해!"라고 스스로 칭찬하며 배웁니다.
- 장점: 시간이 많이 걸리지 않아 빠르게 많은 요리를 연습할 수 있습니다.
- 단점: 요리사가 실수를 해도 모르고 "이건 완벽해!"라고 착각할 수 있습니다. (실수를 반복하는 악순환)

💡 COACT 의 해결책: "혼자서도 잘하고, 몰랐을 땐 물어보는" 전략

COACT 는 이 두 가지 방법을 완벽하게 섞은 새로운 방식입니다. 마치 요리사가 **자신의 입맛 (AI)**과 **미식가 (인간)**의 도움을 동시에 받는 것과 같습니다.

1. "세 번 해보면 진짜를 알 수 있다" (자기 일관성 활용)

요리사가 같은 레시피로 요리를 8 번 만들어 봅니다.

7 번은 "소금 1 티스푼"을 넣고, 1 번은 "소금 10 티스푼"을 넣었다면?
COACT 의 판단: "아, 7 번이 같은 걸로 봐서 '소금 1 티스푼'이 정답이겠구나!"라고 스스로 판단합니다.
이렇게 스스로 확신하는 요리는 사람이 맛볼 필요 없이 바로 다음 단계로 넘어갑니다. (시간 절약!)

2. "혼란스러울 땐 미식가에게 물어봐" (전략적 인간 개입)

하지만 요리사가 8 번 다 만들어도 결과가 제각각이거나, "이건 내가 잘한 것 같은데 틀린 것 같아?"라고 고민될 때가 있습니다.

이때는 **미식가 (사람/Oracle)**에게만 보여줍니다.
중요한 점: 미식가는 요리사가 가장 헷갈려하는 부분이나, 스스로는 잘한 줄 알지만 사실은 틀린 부분(예: 겉보기엔 비슷하지만 맛없는 요리)을 찾아내어 정확히 가르쳐 줍니다.
이렇게 사람이 직접 고쳐준 레시피는 요리사의 '보물창고'가 되어, 앞으로 비슷한 실수를 하지 않게 도와줍니다.

3. "잘한 요리를 바탕으로 새로운 레시피 만들기" (질문 증폭)

미식가가 "이건 정말 훌륭해!"라고 칭찬해 준 요리가 있다면?

요리사는 그 요리를 보고 "이런 스타일의 요리를 더 만들어볼까?"라고 새로운 레시피를 스스로 발명합니다.
이렇게 AI 가 스스로 만들어낸 새로운 요리도 다시 스스로 검증하고, 미식가에게 확인받는 과정을 반복하며 실력을 키웁니다.

🚀 결과: 왜 이 방법이 좋은가요?

이 논문에서 COACT 를 수학 문제와 과학 문제 풀이 AI 에 적용해 봤습니다. 결과는 놀라웠습니다.

기존 방법들보다 훨씬 빠르고 정확하게 성장했습니다.
- 수학 문제 풀이 능력 (GSM8K) 은 약 13%, 복잡한 수학 (MATH) 은 **약 8%**나 향상되었습니다.
인간의 도움은 적게 들였는데, 효과는 훨씬 컸습니다.
- 사람이 모든 요리를 다 맛볼 필요 없이, 가장 중요한 부분만 골라서 도와주니 비용은 줄고 성능은 올랐습니다.
다른 분야에서도 잘 통했습니다.
- 배운 요리 (수학) 를 바탕으로 전혀 다른 요리 (과학, 일반 상식) 를 만들 때도 잘 해냈습니다.

📝 한 줄 요약

COACT 는 AI 가 "스스로는 잘하는 건 믿고, 헷갈리는 건 전문가에게 물어보며, 잘한 걸 바탕으로 더 새로운 걸 만들어내는" 지혜로운 학습 방법입니다.

이처럼 AI 와 인간이 서로의 장점을 살려 협력하면, AI 는 더 빠르고 정확하게, 그리고 더 똑똑해질 수 있다는 것이 이 연구의 핵심 메시지입니다.

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 을 다양한 작업에 정렬 (Alignment) 시키기 위해 선호도 기반 피드백 (Preference-based feedback) 을 학습하는 것은 매우 효과적이지만, 고품질의 인간 주석 선호도 데이터는 비용이 많이 들고 희소하다는 근본적인 문제가 존재합니다. 기존 접근법은 이 문제를 해결하기 위해 두 가지 극단적인 방식을 취해 왔는데, 각각의 한계가 명확합니다.

자기 보상 (Self-rewarding): LLM 이 스스로 데이터를 생성하고 평가하여 확장성을 확보합니다. 하지만 외부 검증이 부재하여 모델이 자신의 오류를 반복 강화하는 자기 편향 (Self-bias) 문제가 발생하고 신뢰성이 떨어질 수 있습니다.
적극적 학습 (Active Learning): 오라클 (인간 또는 강력한 AI) 이 중요한 샘플에 대한 주석을 제공하여 데이터 품질을 보장합니다. 하지만 주석 예산 (Annotation budget) 이 제한적이어서 방대한 레이블이 없는 데이터의 잠재력을 완전히 활용하지 못합니다.

이러한 딜레마를 해결하기 위해 인간 (또는 오라클) 과 AI 의 시너지를 통해 데이터 효율성과 품질을 동시에 확보하는 방법이 필요합니다.

2. 방법론 (Methodology: COACT)

논문은 COACT (Co-Active Preference Learning) 라는 새로운 프레임워크를 제안합니다. 이는 자기 보상과 적극적 학습을 전략적인 인간-AI 협업으로 결합한 반복적 프로세스입니다.

핵심 구성 요소

자기 일관성 기반 선호도 구성 (Self-Consistency Preference Construction):
- 각 지시문 (Instruction) 에 대해 모델이 $k$ 개의 다양한 응답을 생성합니다.
- 자기 일관성 (Self-Consistency) 원리를 적용하여, 가장 일관된 답변을 '선택된 (Chosen)' 응답으로, 가장 일관성이 없는 것을 '기각된 (Rejected)' 응답으로 간주하여 초기 선호도 쌍을 구성합니다.
- 일관성 점수 (Consistency Score) 를 기준으로 데이터를 고일관성 (High-consistency) 및 저일관성 (Low-consistency) 하위 집합으로 나눕니다.
전략적 오라클 주석 선택 (Strategic Oracle Annotation):
- 제한된 오라클 예산을 효율적으로 배분하기 위해 두 가지 전략을 사용합니다.
- 저일관성 샘플: 모델이 가장 불확실한 경우이므로 오라클 라벨링을 위해 무조건 선택됩니다.
- 고일분성 샘플 (위험 감지): 일관성이 높더라도 모델이 잘못된 추론을 일관되게 반복할 수 있습니다 (Self-consistent errors). 이를 탐지하기 위해 k-NN 거리 (k-Nearest Neighbors distance) 를 활용합니다. 이전에 검증된 정답 데이터 (In-distribution) 와의 거리가 먼 (OOD) 샘플을 식별하여 오라클에게 추가 검증이 필요한 데이터로 선별합니다.
오라클 피드백을 통한 질문 증강 (Oracle-guided Instruction Augmentation):
- 오라클이 검증한 '정답이 있는' 고일관성 샘플들을 인-컨텍스트 (In-context) 예시로 활용합니다.
- 이를 통해 모델이 해결 가능한 범위 내에서 새로운 지시문 (Instruction) 을 생성하도록 유도합니다. 이렇게 생성된 새로운 데이터도 동일한 자기 일관성 프로세스를 거쳐 학습 데이터에 추가됩니다.
모델 업데이트:
- 오라클 라벨링 데이터와 AI 자기 라벨링 데이터를 결합하여 수정된 DPO (Direct Preference Optimization) 목적 함수로 모델을 업데이트합니다. 여기에는 선호도 손실과 NLL(음의 로그 가능도) 정규화 항이 모두 포함됩니다.

3. 주요 기여 (Key Contributions)

하이브리드 프레임워크 제안: 확장성 (Self-rewarding) 과 품질 (Active Learning) 간의 상충 관계를 해결하기 위해, 자기 일관성과 오라클 검증을 결합한 COACT를 최초로 제안했습니다.
자기 일관성 오류 탐지 메커니즘: 단순히 일관성 점수만 보는 것이 아니라, k-NN 거리를 활용하여 모델이 일관되게 틀린 경우 (Self-consistent errors) 를 식별하고 오라클의 개입을 유도하는 정교한 필터링 기법을 도입했습니다.
역동적 데이터 증강: 오라클의 검증 결과를 활용하여 모델의 현재 능력 범위 내에서 새로운 훈련 데이터를 생성하는 질문 증강 (Question Augmentation) 루프를 설계하여 데이터 효율성을 극대화했습니다.
이론적 근거: 혼합 감독 (Mixed Supervision, 깨끗한 오라클 데이터 + 노이즈가 있는 AI 데이터) 이 오라클 전용 학습보다 정책의 하위 최적성 (Policy sub-optimality) 을 이론적으로 감소시킨다는 것을 증명했습니다.

4. 실험 결과 (Results)

Llama3-8B와 Qwen3-4B 모델을 대상으로 GSM8K(초등 수학), MATH(경쟁 수학), WebInstruct(물리 추론) 세 가지 벤치마크에서 평가되었습니다.

성능 향상: 4 번의 학습 반복 후 COACT 는 모든 모델과 데이터셋에서 평균적으로 GSM8K(+13.25%), MATH(+8.19%), WebInstruct(+13.16%) 의 성능 향상을 보였습니다.
기존 방법 대비 우위: 가장 강력한 베이스라인 (Active Learning 기반) 보다 최종 반복 단계에서 4~8% 포인트 더 높은 성능을 기록했습니다.
범용성 (Generalization): 학습 데이터와 다른 도메인 (GPQA, MMLU-Pro) 에서도 일관되게 최상의 성능을 보여주어, 오라클 가이드 증강이 모델의 일반화 능력을 향상시킴을 입증했습니다.
자기 일관성과 정확도의 상관관계: 학습이 진행됨에 따라 자기 일관성 점수와 모델 정확도 간의 상관관계가 강해짐을 확인했습니다 (피어슨 상관계수 0.9 이상).

5. 의의 및 결론 (Significance)

COACT 는 자원 제약 환경에서 LLM 선호도 정렬을 위한 실용적인 솔루션을 제시합니다.

비용 효율성: 인간 주석의 비용을 최소화하면서도 AI 생성 데이터의 신뢰성 문제를 해결합니다.
데이터 활용 극대화: 레이블이 없는 데이터의 가치를 활용하고, 오라클의 피드백을 통해 모델이 스스로 더 나은 학습 데이터를 생성할 수 있게 합니다.
미래 방향: 추론 작업뿐만 아니라 다른 복잡한 작업 영역으로의 확장 가능성을 보여주며, AI 와 인간의 협업 (Human-AI Synergy) 이 모델 정렬의 핵심 열쇠임을 입증했습니다.

결론적으로, COACT 는 단순히 데이터를 늘리는 것을 넘어, 어떤 데이터를 인간에게 검증받게 할지, 어떤 데이터를 AI 가 스스로 학습할지를 지능적으로 분배하는 전략적 협업 프레임워크로서 큰 의의를 가집니다.