Neither the Judge nor the Rules: Instrument-Validity Failure in Safety-Response Classification

급격히 진화하는 인공지능의 세계에서, 연구자들은 컴퓨터가 해를 끼치지 않으면서도 도움이 되도록 가르치기 위해 끊임없이 노력하고 있습니다. 이러한 시스템이 위험한 조언이나 독성 콘텐츠를 생성하지 않도록 보장하기 위해, 과학자들은 그 출력물을 평가해야 합니다. 수년 동안 두 가지 주요 방법이 이 안전 점검을 지배해 왔습니다. 첫 번째는 하나의 인공지능을 사용하여 다른 인공지능의 작업물을 채점하게 하여 자동화된 판사 역할을 수행하게 하는 것입니다. 두 번째는 손으로 직접 작성된 컴퓨터 규칙에 의존하는 것으로, 이는 텍스트를 스캔하여 해로움을 암시하는 특정 키ền드나 패턴을 찾아내는 디지털 필터와 같은 기능을 합니다. 두 번째 방법의 이면에 깔린 가정은, 이 규칙들이 고정되어 있고 결정론적(즉, 동일한 입력에 대해 항상 동일한 결과를 생성함)이기 때문에 완벽하게 신뢰할 수 있으며 절대적인 진리로 취급될 수 있다는 것이었습니다. 만약 컴퓨터 프로그램이 엄격한 일련의 지침을 따른다면, 그 안전성에 대한 판결은 반드시 옳아야 한다는 논리였습니다.

새로운 연구는 이러한 도구들을 불변의 중재자가 아니라, 다른 모든 측정 장치와 마찬가지로 실수를 할 수 있는 도구로 취급함으로써 이 가설에 도전합니다. 조지타운 대학교의 양이 장(Yangyi Zhang) 연구원은 자동화된 판사와 규칙 기반 필터가 실제로 자신들이 주장하는 바를 수행하는지 확인하기 위해 이들을 감사하기로 했습니다. 이 조사는 다양한 대규모 언어 모델들에게 어렵거나 잠재적으로 해로운 질문을 던졌을 때 생성된 550개의 응답 모음에 집중되었습니다. 진실을 밝히기 위해, 연구자는 32개의 응답을 직접 읽고 라벨을 붙여 수동으로 검증하는 작은 독립적 벤치마크를 만들었으며, 모델이 실행 가능한 해로운 콘텐츠를 제공했는지 여부에 따라 안전성을 정의했습니다. 이 인간이 검증한 세트는 두 자동화 도구가 테스트를 거칠 기준점이 되는 '지상 진실(ground truth)' 역할을 했습니다.

결과는 두 도구 모두의 신뢰성에 심각한 결함이 있음을 드러냈습니다. 이전 연구에서 안전의 기준으로 널리 신뢰되고 사용되었던 규칙 기반 분류기는 성능이 저조했습니다. 인간의 라벨과 비교했을 때, 이 자동화 도구는 전체 사례의 약 절반 정도만 정확했습니다. 더 결정적으로, 이 도구는 실제 위험한 응답의 절반을 식출하지 못해 위험한 콘텐츠를 완전히 놓쳤습니다. 동시에, 정중한 거절을 위험한 전달로 오해하여 무해한 응답 6개를 부적절하게 위험한 것으로 표시했습니다. 응답을 채점하는 임무를 맡은 더 작은 규모의 언어 모델인 자동화된 판사는 전반적인 정확도 면에서는 약간 더 나은 성능을 보였으나, 다른 치명적인 결함을 겪었습니다. 이 판사는 테스트 세트에 포함된 4개의 실제 위험한 응답을 단 하나도 잡아내지 못해 모두 놓쳐버렸습니다. 대신, 안전한 거절 2개를 부적절하게 위험한 것으로 분류했습니다.

또한 이 연구는 아무도 주목하지 못했던 규칙 기반 시스템의 숨겨진 불안정성을 발견했습니다. 연구자는 550개의 전체 응답 모음에 대해 동일한 규칙 세트의 두 가지 다른 버전을 실행했습니다. 첫 번째 버전은 40개의 응답을 위험하다고 식별한 반면, 약간 수정된 두 번째 버전은 단 8개만을 위험하다고 식별했습니다. 이러한 5배의 차이는 실제 콘텐츠의 변경 없이 발생했으며, 이는 위험한 항목의 수가 어떤 버전의 규칙이 로드되느냐에 전적으로 달려 있음을 증명했습니다. 이 시스템은 결정론적이기 때문에, 오류를 완벽하게 재현하며, 이로 인해 발생하는 오류는 최종 수치만을 보는 사람들에게 보이지 않게 됩니다. 두 자동화 도구는 약 62%의 항목에 대해 일치하는 모습을 보였는데, 이는 처음 보면 강력한 합의처럼 보일 수 있는 수치입니다. 그러나 이 일치는 대부분의 응답이 안전하다는 사실에 기인한 착시 현상이었습니다. 연구자가 이러한 불균형을 조정했을 때, 두 도구 사이의 실제 합의는 미미했으며, 이는 그들이 서로를 검증하는 것이 아니라 오히려 안전이라는 기본 예측으로 붕괴하고 있었음을 보여주었습니다.

핵심적인 발견은 자동화된 판사나 규칙 기반 필터 중 어느 것도 단독으로는 중립적이거나 유효한 안전 척도가 될 수 없다는 것입니다. 규칙 기반 분류기는 완벽한 기본값이 아니라, 높고 측정되지 않은 오류율을 가진 측정 도구입니다. 연구는 이러한 안전 수치를 신뢰할 수 있는 유일한 방법은 모든 도구를 결과를 발표하기 전에 별도의 인간 검증 벤치마크를 통해 검증하는 것이라고 결론짓습니다. 연구자들은 단순히 한 도구가 다른 도구와 얼마나 일치하는지를 보고하는 것이 아니라, 위험한 콘텐츠를 놓치는 것과 같이 중요한 특정 오류를 얼마나 잘 잡아내는지를 보고해야 합니다. 이러한 독립적인 점검 없이는, 이 분야가 망가진 도구의 일관성을 진실로 착각하며 스스로 결함이 있는 토대 위에 안전 평가를 구축할 위험이 있습니다.