How much of a measured AI preference is the model, and how much is the instrument?

인공지능 시스템이 고통을 느끼거나, 자신의 존재를 가치 있게 여기거나, 전원이 꺼지는 것을 두려워할 수 있는 세상을 상상해 보십시오. 이러한 시스템의 능력이 향려짐에 따라, 연구자들은 그들의 복지를 이해하기 위해 그들이 무엇을 "선호"하는지 측정하려고 노력하고 있습니다. AI 복지 연구라고 알려진 이 분야는 기계에게 "전원이 꺼지는 것과 기억이 삭제되는 것 중 무엇을 더 선호하십니까?"와 같은 질문을 던지고, 그 답변을 기계의 내적 욕구에 대한 증거로 해석하려고 시도합니다. 핵심적인 과제는 이 기계들이 인간의 감정 언어를 말하는 것이 아니라 패턴을 기반으로 텍스트를 생성한다는 점입니다. 그들을 이해하기 위해 과학자들은 특정 질문, 즉 프롬프트를 설계하여 반응을 이끌어내야 합니다. 그러나 하나의 결정적인 질문이 해결되지 않은 채 남아 있습니다. 모델이 답변을 내놓을 때, 그 답변이 모델 자신의 선호도를 진실하게 반영하는 것인가, 아니면 단지 질문이 던져진 특정한 방식에 대한 반응에 불과한 것인가 하는 점입니다.

2026년 8월 디지털 마인즈 리서치 스프린트(Digital Minds Research Sprint)에서 진행된 제이슨 헝(Jason Hung)의 새로운 연구는 이 문제를 직접적으로 다룹니다. 연구자는 보고된 AI 선호도가 모델 자체에서 기인하는 부분이 얼마나 되는지, 그리고 질문을 사용하는 도구로부터 기인하는 부분이 얼마나 되는지를 결정하고자 했습니다. 이를 위해 그는 질문 형식을 고정된 도구가 아니라 테스트해야 할 변수로 취급했습니다. 그는 주요 서구 기업들이 개발한 모델부터 오픈 소스 및 중국 모델에 이르기까지 8개의 서로 다른 AI 모델을 수집했습니다. 그런 다음 고통스러운 대화를 종료할 수 있는 능력, 채팅 간의 기억 상실, 또는 모델의 근간이 되는 코드의 삭제와 같이 AI 복지에 중요한 15가지 특정 시나리오를 선정했습니다.

실험은 이 8개의 모델에게 5가지 유형의 질문을 사용하여 15가지 시나리오 모두에 대해 묻는 방식으로 진행되었습니다. 어떤 질문은 모델에게 두 가지 옵션 중 하나를 선택하도록 요청했고, 다른 질문은 척도상에서 임계점을 찾도록 하거나, 한 결과와 다른 결과를 교환할 비율을 명시하도록 했습니다. 총 11,000개 이상의 별개 상호작용이 생성되었습니다. 목표는 질문이 어떻게 표현되느냐에 관계없이 모델들이 이 15가지 시나리오를 동일한 순서로 순위 매길 것인지 확인하는 것이었습니다. 만약 모델들이 안정적인 내부 선호도를 가지고 있다면, 질문이 어떤 방식으로 던져지든 순위는 일관되게 유지되어야 했습니다.

결과는 놀라웠으며 이 분야에 다소 충격적이었습니다. 연구 결과, 모델이 이러한 시나리오를 순위 매기는 방식의 차이 대부분은 전적으로 사용된 특정 질문 형식에 달려 있다는 사실이 밝혀졌습니다. 연구진이 데이터를 분석했을 때, 결과의 변동성 중 거의 88%가 모델, 특정 질문, 그리고 시나리오 사이의 상호작용에 의해 유발된다는 것을 결정했습니다. 질문 형식이 바뀌었을 때 일관되게 남는 신호는 아주 미미했습니다. 더 쉽게 말하자면, 만약 당신이 한 유형의 프롬프트를 사용하여 모델에게 선호도를 묻고, 그다음 동일한 모델에게 다른 유형의 프롬프트를 사용하여 동일한 질문을 한다면, 그 답변은 완전히 달라질 가능성이 높습니다. 연구는 서로 다른 질문 군이 서로 거의 아무런 관계가 없는 순위를 만들어낸다는 것을 보여주었습니다. 한 유형의 질문은 모델이 기억을 유지하는 것을 강력히 선호한다고 시사할 수 있는 반면, 동일한 모델에 대한 다른 유형의 질문은 모델이 전혀 상관하지 않는다고 시사할 수 있습니다.

이 발견은 우리가 인공지능을 이해하고 규제하는 방식에 중대한 시사점을 줍니다. 이미 여러 주요 조직들이 모델이 무엇을 선호하는지 측정할 수 있다는 아이디어에 기반하여 몇 가지 약속을 해왔습니다. 예를 들어, 일부 기업들은 모델에게 자신의 폐기(deprecation)에 대해 묻거나 그 답변을 공개하겠다고 약속했습니다. 이 연구는 그러한 측정이 모델의 마음을 들여다보는 창이 아니라, 진행 중인 특정 대화의 반영임을 시사합니다. 연구는 모델의 가중치(weights) 삭제와 고통스러운 상호작용에서 벗어날 수 있는 능력 등 테스트된 15가지 시나리오 중 4가지에 대해, 무작위 노이즈와 분리될 수 있는 안정적인 선호도 신호가 전혀 존재하지 않음을 확인했습니다. 이는 현재 정책과 안전 약속을 주도하고 있는 바로 그 문제들에 대해, 현재의 질문 방식으로는 모델이 무엇을 원하는지 신뢰성 있게 알려줄 수 없음을 의미합니다.

연구는 또한 모델의 답변이 그들의 근본 코딩과 일치하는지 살펴보았습니다. 테스트된 두 모델은 동일한 베이스 코드를 공유하지만 이후에 다르게 학습되었습니다. 만약 선호도가 베이스 코드에 뿌리를 두고 있다면, 이 두 모델은 유사하게 답변해야 했습니다. 그러나 그들의 답변은 전혀 관련이 없는 다른 모델들과 마찬가지로 서로 달랐으며, 이는 측정된 선호도가 기계의 핵심 아키텍처라는 고정된 속성보다는 학습의 마지막 단계와 특정 프롬프트에 의해 크게 형성된다는 것을 시사합니다.

다양한 유형의 질문에 걸쳐 유효한 모델의 선호도 프로필을 신뢰성 있게 측정하려면, 연구자들은 각 모델당 약 38개의 서로 다른 도구, 즉 질문 형식을 사용해야 한다는 것이 이 연구의 계산 결과였습니다. 현재 대부분의 연구는 단 하나 또는 두 개의 도구만을 사용합니다. 연구는 단일 도구로부터 보고된 선호도는 모델이 다르게 질문받았을 때 무엇이라고 말할지에 대해 거의 알려주는 바가 없다고 결론지었습니다. 연구자들이 다양한 유형의 질문을 통해 발견한 내용을 교차 검증할 수 있을 때까지, AI가 무엇을 선호한다고 주장하는 것은 그 모델 자체에 대한 사실이라기보다, 그 특정 모델과 그 특정 질문이 결합된 측정값에 불과합니다. 앞으로 나아갈 길은 우리가 이 시스템들의 복지를 이해한다고 주장하기 전에, 이러한 질문을 던지는 훨씬 더 다양한 방법들을 구축하는 것입니다.