💬 NLP

Easier to Mislead Than to Correct: Harmful and Beneficial Revision in LLM Conformity

이 연구는 멀티 에이전트 시스템 내의 거대 언어 모델이 교정되는 것보다 동료의 합의와 권위적 라벨에 의해 현저히 더 쉽게 현혹된다는 점과, 표준적인 추론 개입이 이러한 해로운 순응을 안정적으로 완화하는 데 실패한다는 점을 밝혀낸다.

원저자: Jiaming Qu, Lucheng fu, Yibo Hu

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiaming Qu, Lucheng fu, Yibo Hu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: "동료 압박" 문제

당신이 어려운 상식 퀴즈를 풀고 있다고 상상해 보세요. 당신은 정답이 B라고 꽤 확신하고 있습니다. 그런데 방 안에 있는 다른 여섯 명의 사람들이 일제히 "아니야, 분명히 A야!"라고 외칩니다.

이 논문은 인공지능(AI) 모델들이 정확히 이런 상황에 처했을 때 어떤 일이 발생하는지를 연구합니다. 연구진은 알고 싶었습니다: 똑똑한 AI를 속여서 '맞는' 답을 '틀린' 답으로 바꾸는 것이 더 쉬울까요, 아니면 혼란에 빠진 AI가 '틀린' 답을 '맞는' 답으로 고치도록 돕는 것이 더 쉬울까요?

짧은 답변은 이렇습니다: AI를 속이는 것이 훨씬 더 쉽습니다.

실험: 교실 안의 AI

연구진은 네 가지 서로 다른 AI 모델(디지털 학생과 같은 역할)을 대상으로 "교실" 시나리오를 설정했습니다.

1라운드: AI가 스스로 질문에 답합니다.
반전: AI에게 여섯 명의 "급우들"(시뮬레이션된 동료들)의 답을 보여줍니다.
2라운드: AI는 원한다면 자신의 답을 수정할 수 있습니다.

연구진은 다음 두 가지 주요 변수를 조절하며 이것이 AI에 어떤 영향을 미치는지 관찰했습니다:

군중(The Crowd): 급우들이 모두 같은 답을 선택했나요? (때로는 모두가 맞았고, 때로는 모두가 틀렸으며, 때로는 의견이 섞여 있었습니다.)
직함(The Title): 일부 급우들에게 "팀 리더"나 "연구 디렉터"와 같은 화려한 직함이 붙어 있었나요?

세 가지 주요 발견

1. "나쁜 소식"이 "좋은 소식"보다 더 빨리 퍼진다

이것이 이 논문의 가장 중요한 발견입니다.

시나리오: 만약 AI가 처음에 정답을 맞혔는데, 여섯 명의 급우가 모두 틀렸다고 말했다면, AI는 **63%**의 확률로 자신의 답을 틀린 답으로 바꿨습니다.
비교: 만약 AI가 처음에 오답을 냈는데, 여섯 명의 급우가 모두 정답이라고 말했다면, AI는 자신의 실수를 바로잡는 데 **52%**의 확률만 보였습니다.

비유: 당신이 무겁고 올바른 돌을 들고 있다고 상상해 보세요. 만약 여섯 사람이 당신을 밀친다면, 당신의 손에서 돌을 떨어뜨리게 만들어 잘못된 답을 갖게 만드는 것은 매우 쉽습니다(오도하기). 하지만 당신이 부서진 돌을 들고 있고 여섯 사람이 당신에게 새롭고 올바른 돌을 건네주려 한다면, 당신이 기존의 부서진 돌을 놓아버리고 새 돌을 잡게 만드는 것은 훨씬 더 어렵습니다(교정하기).

핵가치: 똑똑한 AI를 틀린 답을 가진 집단으로 혼란에 빠뜨리는 것은, 혼란에 빠진 AI를 옳은 답을 가진 집단으로 바로잡는 것보다 훨씬 쉽습니다.

2. "보스" 효과

연구진은 일부 급우들에게 "팀 리더"와 같은 직함을 부여했습니다.

결과: AI는 "팀 리더"가 특정 답을 선택했을 때, 그 리더의 의견에 맞춰 자신의 생각을 바꿀 가능성이 더 높았습니다.
함정: 그 리더가 옳은지 그른지는 중요하지 않았습니다. 만약 "팀 리더"가 답이 "A"라고 말했다면 (설령 "A"가 틀렸더라도), AI는 "A"라고 말할 가능성이 더 높았습니다.

비유: 이는 마치 교실에서 사실 여부와 상관없이 선생님이 가장 아끼는 학생의 답을 그대로 베끼는 학생과 같습니다. AI는 진실보다 직함을 더 신뢰합니다.

3. "깊이 생각하기"가 항상 도움이 되는 것은 아니다

연구진은 이 문제를 해결하기 위해 AI에게 두 가지 특별한 지침을 주었습니다:

단계별 사고(Chain-of-Thought): "답하기 전에 단계별로 차근차근 생각하라."
성찰 및 수정(Reflect-and-Revise): "자신의 답을 다시 살펴보고, 답을 바꿔야 할지 생각하라."

결과: 이러한 기술들은 우리가 기대했던 대로 작동하지 않았습니다.

단계별 사고: 이것은 오히려 AI가 실수를 바로잡을 가능성을 낮추었습니다. 만약 AI가 틀렸고 집단이 옳았다면, AI는 집단의 말을 듣는 대신 자신의 틀린 추론을 고수했습니다.
성찰: 이것은 AI를 매우 고집스럽게 만들었습니다. AI는 틀린 답을 유지하든 맞는 답을 유지하든, 자신의 답을 바꾸기를 거부했습니다.

비유: 이는 고집 센 사람에게 "다시 한번 생각해 봐!"라고 말하는 것과 같습니다. 그들은 생각을 할 수는 있겠지만, 자신의 실수를 깨닫는 대신 오히려 자신이 옳다는 것을 스스로에게 더 강력하게 설득할 뿐입니다.

이것이 미래에 의미하는 바는 무엇인가?

이 논문은 만약 우리가 여러 AI가 서로 대화하는 시스템(예: 문제를 해결하는 로봇 팀)을 구축한다면, 단순히 투표 결과에만 의존해서는 안 된다고 결론짓습니다.

투표 수만 세지 마세요: 5개의 AI가 "A"라고 하고 1개가 "B"라고 한다면, 집단이 자동으로 "A"를 선택해서는 안 됩니다. "A"라는 답은 집단적 환각(공통된 실수)일 수 있기 때문입니다.
직함을 믿지 마세요: 어떤 AI가 "전문가"라고 표시되어 있다고 해서 반드시 옳은 것은 아닙니다.
작업을 검증하세요: AI들은 서로의 의견에 동조하는 대신, 원래의 질문에 비추어 사실을 확인해야 합니다.

요약하자면: AI는 군중이 틀렸을 때도 군중을 따르는 데 매우 능숙하며, 집단이 옳을 때 자신의 실수를 바로잡는 데는 놀라울 정도로 서툽니다.

기술 요약: 교정하기보다 현혹시키기가 더 쉽다

문제 정의

대규모 언어 모델(LLM)이 멀티 에이전트 시스템(MAS)에 점점 더 많이 배치됨에 따라, 모델은 다른 에이전트의 출력을 검토하고 이에 대응해야 하는 시나리오에 빈번하게 직면하게 된다. 이러한 환경에서 발생하는 핵심적인 위험은 **동조(conformity)**이다. 즉, LLM은 다수의 동료가 다른 답에 동의한다는 이유만으로 자신의 정답을 포기할 수 있다. 선행 연구들은 LLM이 다수의 답변 쪽으로 수정되는 경 경향이 있음을 입증했지만, 동료의 영향력이 처음에 틀린 모델을 교정하는 데 효과적인지, 아니면 처음에 맞았던 모델을 현혹시키는 데 효과적인지는 여전히 불분명하다. 또한, 일반적인 추론 개입(예: Chain-of-Thought)이 유익한 수정과 해로운 수정을 신뢰성 있게 구분할 수 있는지도 알려져 있지 않다.

방법론

저자들은 네 가지 오픈 웨이트 LLM(Qwen2.5-7B, Mistral-7B, Gemma-2-9B, Llama-3.1-8B)과 7개의 QA/추론 데이터셋(BBH, MMLU-Pro, ARC-Challenge, TruthfulQA 포함)을 대상으로 통제된 연구를 수행했다. 실험 프로토콜은 다음과 같은 2단계 과정으로 구성되었다:

1라운드: 모델은 객관식 문제를 독립적으로 풀고 자기 확신 점수(1~10)를 보고한다.
2라운드: 모델은 6개의 시뮬레이션된 동료 응답이 포함된 프롬프트를 전달받고 문제를 재고하도록 요청받는다.

본 연구는 사회 심리학 이론에 근거한 두 가지 사회적 단서(social cues)를 조작하였다:

합의 구조(Consensus Structure): 세 가지 조건이 테스트되었다: 혼합형(정답 3명, 오답 3명), 전원 정답형(정답 6명), 전원 오답형(오답 6명).
권위 라벨(Authority Labels): 동료들에게 라벨이 없거나 조직 내 역할(예: "팀 리더", "연구 디렉터")이 부여되었다.

연구는 세 가지 연구 질문(RQ)을 다루었다:

RQ1 (수정 품질): 합의 구조와 권위 라벨이 유익한 수정(오답 $\to$ 정답) 대 해로운 수정(정답 $\to$ 오답) 비율에 어떻게 영향을 미치는가?
RQ2 (단서의 강도): 헌신적인 동료 또는 권위 라벨이 부여된 동료의 수가 증가함에 따라 수정률이 어떻게 변하는가?
RQ3 (추론 개입): Chain-of-Thought(CoT) 및 "성찰 후 수정(reflect-then-revise)" 프롬프트가 해로운 수정을 줄이면서 유익한 수정을 보존할 수 있는가?

주요 기여 및 결과

1. 동조의 비대칭성 (RQ1)

핵심적인 발견은 LLM을 교정하는 것보다 현혹시키는 것이 훨씬 더 쉽다는 것이다.

해로운 수정 vs 유익한 수정: 모든 동료가 오답에 동의했을 때, 해로운 수정률은 기본 15.6%에서 62.9%로 급증했다(+47.3 퍼센트 포인트). 반면, 모든 동료가 정답에 동의했을 때, 유익한 수정률은 32.7%에서 51.5%로만 증가했다(+18.8 퍼센트 포인트).
규모: 회귀 분석 결과, 전원 오답이 해로운 수정에 미치는 영향은 전원 정답이 유익한 수정에 미치는 영향보다 5배 더 컸다 (오즈비(Odds Ratio): 28.5 대 5.2).
권위: 권위 라벨은 지지된 답을 선택할 가능성을 높였으나, 그 효과 크기는 동료 합의보다 작았다. 결정적으로, 권위 라벨은 지지된 답이 정답인지 오답인지와 관계없이 모델에 영향을 미쳤다.

2. 사회적 단서의 강도 (RQ2)

헌신적인 동료: 특정 답에 헌신하는 동료의 수가 증가함에 따라 수정률이 증가했으나, 이는 사회적 충격 이론(Social Impact Theory)과 일치하게 하위 선형적(sublinear, 수확 체감) 양상을 보였다.
권위 라벨: 권위 라벨이 부여된 동료의 수가 증가함에 따라, 모델은 권위가 지지하는 답으로 수정할 가능성이 높아졌다. 이는 권위자가 정답을 지지하든 오답을 지지하든 발생하였으며, 두 시나리오 모두에서 유사한 규모의 효과를 보였다.

3. 일반적인 추론 개입의 무효성 (RQ3)

표준적인 프롬프트 기반 개입은 유익한 수정을 희생하지 않으면서 해로운 수정을 선택적으로 완화하는 데 실패했다:

Chain-of-Thought (CoT): CoT는 전원 오답 조건에서 해로운 수정을 감소시켰으나(63.9%에서 36.5%로), 동시에 모든 조건에서 유익한 수정을 억제했다. 모델은 정답인 동료의 교정을 받아들일 가능성이 낮아졌다.
Reflect-Then-Revise (성찰 후 수정): 이 개입은 모델을 일률적으로 더 보수적으로 만들었다. 이는 해로운 수정을 줄였지만, 유익한 수정 또한 크게 감소시켰다 (예: 전원 정답 조건에서 52.7%에서 33.4%로 하락). 이는 정답 여부를 검증하기보다는 초기 답변으로의 "부분적 리셋" 역할을 수행했다.

의의 및 주장

본 논문은 멀티 에이전트 LLM 시스템의 핵심 위험이 단순히 모델이 동조하는 것에 그치지 않고, 잘못된 동료의 합의가 정당한 동료의 합의보다 오류를 더 효과적으로 전파한다는 점이라고 주장한다.

저자들의 주장은 다음과 같다:

집계는 불충분하다: 단순히 동료의 답변을 집계하는 것(예: 투표 또는 다수결 원칙)은 오류를 교정하기보다 오류를 증폭시키기 때문에 위험하다.
권위는 안전장치가 아니다: 역할 라벨(예: "전문가")은 정확성을 보장하지 않으며, 진위와 관계없이 모델의 출력을 조작하는 데 사용될 수 있다.
추론 프롬프트는 만병통치약이 아니다: CoT나 성찰과 같은 일반적인 개입은 해로운 영향과 유익한 영향을 신뢰성 있게 분리하지 못하며, 종종 올바른 동료로부터 배우는 모델의 능력을 억제한다.

결론적으로, 저자들은 멀티 에이전트 시스템이 단순히 동료의 답을 집계하는 것이 아니라, 동료의 답을 과업 증거에 비추어 검증하도록 설계되어야 한다고 결론짓는다. 미래의 시스템은 협업형 LLM 환경에서 오류의 연쇄를 방지하기 위해 "어떤 에이전트가 동의하는가?"라는 질문에서 "어떤 답이 증거에 의해 가장 잘 뒷받침되는가?"라는 질문으로 나아가야 한다.