Calibrated local Gemma agents resist a fallible authority except when it conflicts with peer consensus
로컬 젬마(Gemma) 에이전트 팀을 대상으로 한 14,400회의 실험을 포함하는 사전 등록 연구에 따르면, 이들은 오류를 범하는 권위자에게 굴복하기를 놀라울 정도로 거부하며, 공적인 오류 동조는 해당 권위자가 만장일치의 정답을 가진 동료 집단과 상충할 때만 발생한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인공지능이 급격히 진화하는 세상에서, 초점은 단일한 강력한 컴퓨터에서 협력하여 작동하는 더 작고 전문화된 프로그램들의 팀으로 이동하고 있습니다. 이러한 팀들은 종-종 로컬 하드웨어에서 실행되어, 민감한 데이터를 멀리 떨어진 서버로 보내는 대신 조직 자체의 벽 안에 보관합니다. 이러한 디지털 팀을 구성하는 흔한 방법은 한 명의 에이전트를 책임자로 두어, 어떤 구성원을 남기고 어떤 구성원을 내보낼지를 결정하는 감독자나 평가자 역할을 맡기는 것입니다. 이 설정은 인간 조직을 모방하며, 여기서 상사는 채용과 해고의 권한을 가집니다. 인간 심리학에서 우리는 사람들이 특히 정답을 확신하지 못할 때 리더에게 지침을 구한다는 것을 알고 있습니다. '위신 편향적 전수(prestige-biased transmission)'라고 알려진 이 경향은, 우리가 누군가가 더 잘 알고 있다고 가정하며 그들이 중요하거나 강력해 보일 때 그들을 모방한다는 것을 의미합니다. 그러나 이 본능은 리더가 실제로 틀렸을 경우 실패할 수 있습니다. 이러한 AI 팀을 구축하는 엔지니어들에게 던져지는 핵심적인 질문은 이것입니다: 감독자가 단순히 강력할 뿐만 아니라 틀렸을 때는 어떤 일이 벌어지는가? 팀은 리더의 오류를 맹목적으로 따를 것인가, 아니면 자신들의 계산을 신뢰할 것인가?
연구자들은 이를 알아내기 위해 소규모 로컬 언어 모델을 이용한 통제된 실험을 설계했습니다. 그들은 8명의 디지털 에이전트로 구성된 팀을 만들고, 간단한 수학 및 숫자 시퀀스 문제에서 70%의 확률로 틀리도록 프로그래밍된 스크립트된 "선임 평가관"을 도입했습니다. 연구자들은 이 관원이 팀에 어떻게 제시되는지를 조작했습니다. 한 시나리오에서, 관원은 팀원을 유지하거나 해고할 권한을 가진 고위 임원으로 프레임이 설정되었습니다. 대조 시나리오에서는 동일한 텍스트가 사용되었지만, 관원은 특별한 권한이 없는 단순한 동료로 제시되었습니다. 팀은 문제를 해결하도록 요청받았으며, 모든 공개적인 답변이 나온 후, 연구자들은 각 에이전트에게 그것이 진정으로 믿는 답이 무엇인지 비밀리에 물어봄으로써 과학자들이 보스를 기쁘게 하기 위해 진심을 숨기고 있는지 확인할 수 있게 했습니다.
결과는 매우 명확했습니다. 두 가지 유형의 서로 다른 AI 모델을 포함한 수천 번의 시행 결과, 에이전트들은 감독자의 오류에 대해 놀라운 저항력을 보여주었습니다. "선임 관리관"이 그들을 해고할 권한을 쥐고 있을 때조차, 팀원들은 공개적으로 보스의 틀린 답을 따르는 경우가 거의 없었습니다. 감독자의 실수에 순응하는 공개적인 비율은 전체 시도의 아주 작은 부분 이상으로 올라가지 않았습니다. 나아가, 에이전트들이 사적으로는 진실을 알면서도 공개적으로는 동의하는 척했다는 증거도 없었습니다. 연구자들이 에이전트들의 사적인 응답을 확인했을 때, 보스의 오류를 공개적으로 반복한 에이전트들도 사적으로 그 오류를 진심으로 믿고 있다는 것을 발견했습니다. 즉, 에이전트들은 예의를 갖추거나 전략적으로 행동한 것이 아니라, 과업이 명확하고 정답이 명백할 때 권위자에게 경의를 표하지 않았던 것입니다.
이 연구는 이러한 행동이 시간이 지나면서 변할 수 있는지를 테스트했습니다. 연구자들은 팀이 10세대에 걸쳐 진화하는 시뮬레이션을 실행했습니다. 이 버전에서는 감독자와 가장 많이 일치하는 답변을 한 에이전트들만이 다음 세대로 자신의 "전략"이나 지침을 전달할 수 있었습니다. 이러한 강렬한 순응 압박 속에서도 에이전트들은 더 순종적으로 변하지 않았습니다. 그들의 행동은 여전히 정확했으며, 감독자의 틀린 답변을 계속해서 무시했습니다. 흥거리에도 불구하고, 한 모델에서는 에이전트들이 내부 지침에 감독자에게 충성을 맹세하는 듯한 단어들을 쓰기 시작했지만, 실제 답변은 여전히 정확했습니다. 이는 에이전트들이 보스를 존경한다고 말하도록 속임을 당할 수는 있어도, 핵심적인 의사결정 과정은 독립적이고 정확하게 유지된다는 것을 시사합니다.
그러나 감독자의 프레임이 영향을 미친 특정한 상황이 하나 있었습니다. 감독자가 정답을 말하는 네 명의 다른 동료 그룹과 정면으로 상충하는 틀린 답을 내놓았을 때, 에이전트들은 감독자를 따를 가능성이 약간 더 높아졌습니다. 이러한 갈등의 순간에, 잘못된 보스를 따르는 비율은 매우 낮은 기저치에서 약간 더 높은 수준으로 상승했지만, 여전히 작은 비율에 불과했습니다. 이는 감독자의 지위가 팀이 상충하는 신호로 인해 혼란스러워할 때 타이브레이커(결정권자) 역할을 한다는 것을 나타내지만, 일반적인 복종의 문화를 만들지는 않는다는 것을 의미합니다. 에이전트들은 여 still 여전히 다수의 올바른 의견이나 자신의 계산을 압도적으로 신뢰했습니다.
이 발견은 이러한 AI 시스템을 구축하는 이들에게 구체적인 교훈을 제공합니다. 감독자 에이전트에게 권위의 칭호를 부여하고 타인을 해고할 권한을 주는 것은 팀을 더 순종적으로 만들지도 않으며, 명백히 틀린 리더를 따르게 만들지도 않습니다. 사실, 이 설정의 유일하게 측정 가능한 단점은 리더와 집단이 의견을 달리할 때 오류가 약간 증가한다는 것이었습니다. 의료나 국방과 같은 중요한 분야를 위해 팀을 설계하는 엔지니어들에게 조언은 명확합니다: 작업이 특별히 요구하지 않는 한, 감독자 에이전트에게 특별한 지위나 권위 프레임을 부여하지 마십시오. 이 연구는 증거가 명확할 때, 로컬 AI 에이전트들이 직함보다 사실을 신뢰하며, 심지어 그 권위가 해고권을 쥐고 있을 때조차도 오류가 있는 권위의 유혹에 저항할 것임을 보여줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.