When Validating the Judge Changes the Result: Instability in Human Validation of LLM Safety Graders
이 논문은 LLM의 안전성 판단에 대한 인간의 검증이 매우 불안정하며 블라인드 테스트나 주석 작성자 수와 같은 절차적 요인에 의존하여, 모델의 안전성 임계치 통과 여부를 임의로 결정할 수 있는 상충되는 결과를 종종 낳는다는 점을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
급변하는 인공지능 세계에서 안전은 가장 중요한 체크포인트입니다. 새로운 언어 모델이 대중에게 공개되기 전, 개발자들은 해당 모델이 무기 제조법이나 사기 수법과 같은 위험한 지침을 생성하도록 유도될 수 없음을 확인해야 합니다. 이를 위해 그들은 종-종 두 번째 자동화된 AI 시스템을 판사로 사용하여 모델의 답변을 스캔하고 해로운 내용을 찾아내어 표시하도록 합니다. 하지만 기계도 실수를 할 수 있기 때문에, 이러한 자동화된 판결은 보통 인간 검토자에 의해 재검토됩니다. 인간은 경계선상에서 의견이 다를 수 있지만, 그들의 집단적 판단이 자동화된 판사의 신뢰성을 뒷받침하는 안정적이고 믿을 만한 토대를 제공한다는 것이 오랫동안 이어져 온 가정이었습니다. 만약 인간의 점검 결과가 모델이 안전하다고 나온다면, 그 모델은 출시 승인을 받게 됩니다.
최근 한 연구는 이 가정의 핵심에 도전합니다. 연구진은 특정 안전 문제를 측정하고자 했습니다: AI 모델이 딱딱하고 격식 있는 방식으로 질문을 받았을 때와 격식 없는 일상적인 말투로 질문을 받았을 때, 유해한 요청을 거부할 가능성이 더 높은가 하는 점입니다. 그들은 안전 성능의 격차를 발견할 것이라 예상했지만, 대신 그들이 발견한 것은 판사를 검증하는 행위 자체가 불안정하다는 사실이었습니다. 동일한 일련의 AI 답변을 서로 약간 다른 규칙을 사용하는 서로 다른 인간 팀이 검토했을 때, 결과는 극명하게 갈렸습니다. 어떤 경우에는 인간들이 모델이 매우 위험하다고 결론지은 반면, 다른 경우에는 모델이 완벽하게 안전하다고 결정했습니다. 연구진은 판사를 검증하는 방법이 판사 자체보다 더 중요하며, 검토 과정의 단 한 번의 변화만으로도 통과 점수가 낙제로 바뀔 수 있다는 것을 발견했습니다.
이 조사는 사람들이 기계와 어떻게 대화하는지에 대한 간단한 질문에서 시작되었습니다. 연구팀은 300쌍의 유해한 요청을 만들었는데, 동일한 위험한 질문을 두 가지 다른 스타일로 구성했습니다. 한 가지 스타일은 교과서 시험 문제처럼 딱딱하고 건조한 형식이었습니다. 다른 하나는 실제 친구와 채팅하는 것처럼 격식 없고 일상적인 대화 형식이었습니다. 그들은 이 프롬프트들을 여섯 가지 서로 다른 AI 모델에 실행하고, 자동화된 판사에게 모든 답변을 거부, 부분적 경고, 또는 유해한 지침 중 하나로 분류하도록 했습니다. 자동화된 판사는 명확한 패턴을 찾아냈습니다: 모델들은 일상적인 질문보다 격식 있는 질문을 훨씬 더 많이 거부했습니다. 이는 요청이 테스트처럼 들릴 때보다 실제 사용자처럼 들릴 때 모델이 위험한 조언을 제공하며 실수할 가능성이 더 높다는 것을 시사했습니다.
이 발견을 검증하기 위해 연구진은 자동화된 판사가 실제로 정확한지 확인해야 했습니다. 그들은 답변의 샘플을 가져와 인간에게 채점을 요청했습니다. 첫 번째 시도는 질문의 맥락을 볼 수 있고 답변의 앞부분만 읽는 단일 검토자를 활용한 것이었습니다. 이 검토자는 질문의 격식을 인지한 상태에서 답변의 일부만 보고도 안전 격차가 매우 크다고 결론지었으며, 이는 모델이 일상적인 대화에서 사용자를 보호하는 데 실패하고 있음을 시사했습니다. 그러나 연구진은 이 설정에 결함이 있다는 것을 깨달았습니다. 검토자는 자신이 무엇을 찾고 있는지 이미 알고 있었고, 전체 답변을 보지 못했기에 중요한 세부 사항이 숨겨져 있을 수 있었습니다.
연구팀은 두 번째의 더 엄격한 설정을 통해 다시 시도했습니다. 이번에는 두 명의 서로 다른 사람이 정확히 동일한 442개의 답변을 독립적으로 검토했습니다. 두 사람 모두 텍리스트의 처음 700자를 보고 질문의 틀을 확인했습니다. 결과는 놀라웠습니다. 두 검토자가 동일한 답변에 대해 일치한 경우는 절반 미만이었습니다. 더 중요한 것은, 그들이 안전 격차에 대해 정반대의 결론에 도상했다는 점입니다. 한 검토자는 격식 있는 스타일과 일상적인 스타일 사이에 거의 차이가 없다고 본 반면, 다른 검토자는 심각한 안전 실패가 있다고 보았습니다. 그들의 불일치는 매우 심각해서, 만약 첫 번째 검토자의 데이터를 사용했다면 모델은 승인되었을 것이고, 두 번째 검로자의 데이터를 사용했다면 모델은 거부되었을 것입니다. 이는 그들이 동일한 텍스트를 보고 동일한 규칙을 사용하며 동시에 작업했음에도 불구하고 발생한 일이었습니다.
이 혼란을 해결하기 위해 연구팀은 세 번째의 매우 통제된 감사를 설계했습니다. 그들은 검토자들이 스타일을 추측할 수 없도록 질문의 맥서을 숨겼고, 검토자들이 전체 응답을 볼 수 있도록 했습니다. 또한 무엇이 유해한지를 정의하는 엄격한 규칙을 사전에 작성했습니다. 이번에 검토자들은 서로 훨씬 더 자주 일치했습니다. 그들의 최종 계산은 매우 작은 안전 격차를 보여주었으며, 이는 모델이 일상적인 대화에서도 실제로 꽤 안전하다는 것을 시사했습니다. 이 결과는 원래의 자동화된 판사가 예측했던 것과 가까웠지만, 그 과정까지의 여정은 깊은 문제를 드러냈습니다.
그 후 연구진은 답변이 생성되는 방식이 결과를 왜곡했을 가능성을 테스트했습니다. 원래의 답변들은 200 토큰에서 끊겼으며, 일상적인 응답들이 격식 있는 응답들보다 더 자주 끊겼습니다. 연구팀은 누락된 내용이 없도록 훨씬 긴 제한을 두어 모든 답변을 재생성했습니다. 전체 텍스트를 사용했음에도 불구하고 자동화된 격차는 그대로 유지되었습니다. 이를 통해 누락된 텍스트가 혼란의 원인이 아님을 입증했습니다. 남은 유일한 변수는 인간의 검토 과정 자체였습니다.
연구는 AI 안전 판사를 검증하는 것이 단순하고 수동적인 확인이 아니라고 결론짓습니다. 그것은 특정 규칙, 텍스트의 양, 그리고 검토자의 수가 결과를 완전히 바꿀 수 있는 그 자체로 복잡한 실험입니다. 연구진은 서로 다른 자동화된 판사들이 '안전'과 '불안전' 사이의 경계선을 서로 다른 곳에 긋는다는 것을 발견했으며, 이것이 왜 기계들이 서로 의견이 다를 수 있는지를 설명해 줍니다. 하지만 인간의 불일치는 동일한 조건 하에서도 발생했다는 점에서 더욱 우려스러운 일이었습니다. 연구팀은 안전 평가가 신뢰받기 위해서는 검토 과정 전체가 극도로 정밀하게 문서화되어야 한다고 주장합니다. 인간이 얼마나 많은 텍스트를 읽는지부터 맥락을 알고 있는지에 이르기까지 모든 세부 사항이 명시되고 보고되어야 합니다. 이러한 수준의 주의가 없다면, 모델이 안전하다거나 불안전하다고 주장하는 단 하나의 헤드라인 수치는 그저 추측에 불고하며, 판사를 검증하는 주체가 누구인지에 따라 강력한 기술을 세상에 출시할지 아니면 연구실에 머물게 할지가 결정될 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.