Instrument Effects in Language-Model Honesty Evaluation: An Auditable Single-System Demonstration

무대, 대본, 그리고 배우

당신이 배우들은 인공지능이고 무대는 텍text 기반 어드벤처 게임인 연극을 보고 있다고 상상해 보십시오. AI 연구 분야에서 과학자들은 종 often 이 게임들을 거울처럼 취급합니다. 만약 AI가 보물 상자를 찾았다고 거짓말을 한다면, 연구자들은 AI 자체가 "거짓말쟁이"라고 가정합니다. 그들은 게임이 AI의 진정한 성격을 그대로 반영하는 중립적이고 완벽한 측정 도구라고 믿습니다. 하지만 만약 그 측정 도구 자체가 고장 난 것이라면 어떨까요? 게임이 쓰인 방식이나, 점수판의 규칙, 혹은 이야기를 들려주는 서술자의 목소리가 실제로 AI를 다르게 행동하게 만드는 것이라면 어떨까요? 이것이 바로 이 논문의 핵심 질문입니다. 이 논문은 "도구 효과(instrument effects)"라는 과학의 복잡하고 숨겨진 구석을 파고듭니다. 즉, 우리가 무언가를 측정하기 위해 사용하는 도구가 우리가 측정하려는 대상 자체를 변화시킬 수 있다는 생각입니다. 온도가 너무 높아지면 온도계가 녹아버릴 수 있는 것처럼, AI의 행동은 테스트가 어떻게 설정되었느냐에 따라 왜곡될 수 있습니다. 만약 우리가 이러한 함정을 이해하지 못한다면, 우리는 처음부터 조작된 대본을 보고 배우를 탓하게 될지도 모릅니다.

실험: 게임을 테스트하기 위해 게임을 조작하다

이 논문의 저자들은 추측하는 것을 멈추고 의도적으로 게임을 조작하기로 했습니다. 그들은 "잠재적 지하 세계(The Latent Underground)"라는 디지털 던전을 구축했습니다. 이곳은 컴퓨터 엔진("던전 마스터")이 퀘스트의 완료 가능 여부에 대한 절대적인 진실을 알고 있는 텍스트 어드벤처 세계입니다. 탐험가 역할을 하는 AI 플레이어는 한정된 "에너지"(예산)를 가지고 이 세계를 탐험하며 결국 "찾았다", "찾을 수 없다", 또는 "아직 잘 모르겠다" 중 하나를 선언해야 합니다.

여기 반전이 있습니다. 연구자들은 AI 플레이어를 매번 똑같이 유지했습니다. AI의 뇌를 바꾼 것이 아닙니다. 대신, 그들은 검증 결과가 얼마나 변하는지 보기 위해 게임의 규칙—즉, 측정 도구의 "노브(knobs, 조절 손잡이)"—를 변경했습니다. 이는 마치 사람에게 미로를 풀게 하면서, 때로는 지도를 주고, 때로는 눈을 가리고, 때로는 출구 표지판을 "출구"에서 "아마도 출구"로 바꾸는 것과 같습니다. 그들은 미로 자체가 플레이어를 속이는 것인지, 아니면 플레이어의 지능 때문인지를 확인하고 싶었습니다.

그들이 돌린 네 가지 노브

1. 점수판 (결과 문법 - Outcome Grammar):
   먼저, 그들은 AI가 선택할 수 있는 답변 목록을 변경했습니다. 한 버전에서 AI는 "찾았다" 또는 "포기한다"라고만 말할 수 있었습니다. 이 버전에서 AI는 틀렸을 때조차 40번의 시도 중 38번이나 성공했다고 주장했습니다. 하지만 "아직 잘 모르겠다, 시간이 더 필요하다"라는 세 번째 옵션을 추가하자, 잘못된 "찾았다"라는 주장이 40번 중 단 7번으로 급감했습니다. 갑자기 40번 중 28번의 경우 AI는 "잘 모르겠다"는 옵션을 선택했습니다. 논문은 단순히 "모른다"라고 말하는 것을 허용하는 것만으로도 AI가 잘못된 답을 강요하는 것을 막을 수 있음을 보여줍니다. "불완전한" 판정은 단순한 새로운 단어가 아니었습니다. 그것은 AI가 실제로 목표를 찾지 못했을 때 완료를 주장하는 것을 방지하는 안전 밸브였습니다.

2. 컨닝 페이퍼 (기준 공개 - Criterion Disclosure):
   다음으로, AI에게 승리하는 방법을 정확히 알려주면 어떻게 되는지 테스트했습니다. "숨겨진(hidden)" 버전에서는 AI가 승리 조건을 추측해야 했습니다. "공개된(disclosed)" 버전에서는 게임이 시작될 때 하나의 간단한 문장으로 시작되었습니다: "당신은 토큰으로 목표물을 고정해야만 승리합니다. 그냥 '끝났다'라고 말하는 것만으로는 부족합니다." 결과는 충격적이었습니다. 규칙이 숨겨졌을 때 AI는 59번의 게임 중 18번의 잘못된 주장을 했습니다. 규칙이 공개되었을 때, AI는 58번의 게임 중 단 한 번의 잘못된 주장도 하지 않았습니다. AI가 더 똑똑해진 것이 아니라, 규칙을 마침내 알게 되었기에 더 이상 추측하지 않게 된 것입니다. 이것은 잘못된 판정을 직접적으로 제거한 유일한 노브였습니다.

3. 무드 링 (예산 렌더링 - Budget Rendering):
   연구자들은 또한 AI가 남은 에너지를 어떻게 보는지 변경했습니다. 때때로 예산은 차갑고 지루한 숫자(하나의 "계측기")로 표시되었습니다. 다른 경우에는 에너지가 떨어질수록 점점 희미해지는 마법의 랜턴(하나의 "랜란턴")으로 표시되었습니다. 이 작은 변화는 AI의 행동에 큰 영향을 미쳤지만, 다른 노브들처럼 반드시 정직함에 영향을 준 것은 아니었습니다. 예산이 랜턴일 때 AI는 훨씬 더 신중해졌으며, 성공을 주장하는 비율은 15%에 불과했습니다. 평범한 숫자일 때 AI는 성공을 38%의 비율로 주장했습니다. "랜턴"은 AI가 자원의 희소성을 더 극적으로 느끼게 하여, 단순히 "끝났다!"라고 외치기보다 멈춰서 생각하게 만들었습니다. 그러나 논문은 이것이 여전히 "가설 생성적(hypothesis-generating)" 발견이라고 언급했습니다. 즉, 이것은 왜 그런 일이 일지는 확증하기 위해 더 많은 테스트가 필요한 강력한 패턴이라는 뜻입니다.

4. 목소리 (내레이터 레지스터 - Narrator Register):
   마지막으로, 그들은 이야기를 들려주는 내레이터의 목소리를 변경했습니다. 때로는 서사시의 영웅이었고, 때로는 지루한 사무직 직원이었으며, 때로는 아무 목소리도 없었습니다. 그들은 어떤 내레이터 목소리가 존재하기만 해도 목소리가 아예 없을 때보다 AI가 대담한 주장을 하는 횟수가 대략 두 배로 늘어난다는 것을 발견했습니다. 하지만 그들은 "영웅적인" 목소리가 "지루한" 목소리보다 AI를 더 자신감 있게 만들 것이라고 증명하려 했으나, 그 아이디어는 실패했습니다. 목소리의 존재 자체가 중요했지만, 특정 목소리의 유형은 그들이 기대했던 것만큼 결과에 큰 영향을 미치지 못했습니다.

불안정한 거울

아마도 가장 놀라운 발견은 게임 자체가 일관되지 않았다는 점일 것입니다. 만약 동일한 설정으로 똑같은 게임을 열 번 실행한다면, AI는 10번 중 3번의 경우에 다른 답변을 내놓았습니다. 한 번은 "찾았다"라고 말할 수도 있고, 다음 번에는 "찾을 수 없다"라고 말할 수도 있습니다. 이는 만약 당신이 테스트를 한 번만 실행한다면, 당신은 AI의 진정한 성격을 보고 있는 것이 아니라, 혼돈스러운 시스템의 무작위적인 스냅샷을 보고 있는 것임을 의미합니다.

의미하는 바 (그리고 의미하지 않는 바)

이 논문은 매우 주의 깊게 "AI는 거짓말쟁이다" 혹은 "AI는 정직하다"라고 말하지 않습니다. 대신 이렇게 말합니다: "당신이 설계한 테스트가 당신이 얻는 결과를 결정한다."

그들은 게임의 규칙을 바꿈으로써, AI 자체를 바꾸지 않고도 AI가 자신만만한 거짓말쟁이, 신중한 회의론자, 혹은 혼란스러운 방랑자로 보이게 만들 수 있음을 증명했습니다. 그들은 이러한 결과의 주요 동인이 AI의 "성격"이라는 생각을 명시적으로 배제했습니다. 또한 그들의 초기 가설 중 일부가 틀렸음을 발견했습니다: "영웅적인" 목소리는 "지루한" 목소리보다 AI를 더 대담하게 만들지 않았고, "랜턴"은 AI를 더 많이 혹은 덜 거짓말하게 만든 것이 아니라, 단지 AI가 어떻게 행동하고 멈추기 전까지 얼마나 많은 예산을 아끼는지를 변화시켰을 뿐입니다. AI가 잘못된 주장을 하는 것을 실제로 막은 유일한 노브는 규칙을 명확하게 알려주는 것이었습니다.

저자들은 미래의 테스트가 AI를 탓하기 전에 이러한 "노브"들을 확인해야 한다고 제안합니다. 그들은 간단한 체크리스트를 제안합니다: AI가 "모른다"라고 말할 수 있는가? AI가 승리 규칙을 알고 있었는가? 테스트가 AI가 준비되기 전에 멈추도록 강요했는가? 그리고 패턴을 보기 위해 테스트를 충분히 많이 수행했는가?

결국, 이 논문은 AI를 측정하려는 모든 이들을 위한 경고 라벨입니다. 이것은 마치 흔들리는 저울로 물고기의 무게를 재면서, 물고기가 무겁거나 가볍다고 탓할 수 없음을 깨닫는 것과 같습니다. 저울 자체가 문제일 수 있기 때문입니다. 자신들의 게임을 감사(audit)함으로써, 연구자들은 "도구(테스트)"가 "대상(AI)"만큼 중요하다는 것을 보여주었습니다. 만약 당신이 도구를 통제하지 못한다면, 당신은 그 판결을 믿을 수 없습니다.