PL-Guard: Probabilistic Logic Reasoning for LLM Guardrails

인공지능이 질문에 답하고, 이야기를 들려주고, 문제를 해결할 준비가 된 유능한 동반자로서 역할을 하는 세상을 상상해 보십시오. 하지만 이 강력한 도구와 마찬가지로, 인공지능 역시 위험을 수반합니다. 만약 제어되지 않은 채 방치된다면, 이 시스템들은 실수로 위험한 지침을 제공하거나, 반대로 너무 조심스러워져서 무해한 질문에 답변하기를 거부할 수도 있습니다. 개발자들의 과제는 무해한 교육적 질의와 진정으로 해로운 요청을 구별할 수 있는 안전 장치, 즉 '가드레일'을 구축하는 것입니다. 이는 단순한 작업이 아닙니다. 언어는 속임수로 가득 차 있기 때문입니다. 어떤 문장은 "폭발"이나 "훔치다"와 같은 단어를 사용하기 때문에 위험하게 들릴 수 있지만, 역사 수업이나 허구의 이야기와 같은 적절한 맥락 안에서는 완벽하게 안전할 수 있습니다. 반대로, 해로운 요청은 정중하고 간접적인 방식으로 표현되어 그 본래의 의도를 숨길 수도 있습니다. 현재의 방식들은 이러한 미묘한 차이를 다루는 데 어려움을 겪는 경우가 많으며, 때로는 실제 위험을 막지 못하거나 도움이 되는 대화를 불필요하게 차단하기도 합니다.

암스테르담 대학교와 위트레흐트 대학교의 연구진은 "PL-Guard"라는 제목의 논문에서 설명된, 이 문제를 처리하는 새로운 방법을 제안했습니다. 단일 인공지능 모델에게 언어를 이해하고, 의도를 판단하며, 결과를 결정하는 모든 일을 한꺼번에 수행하도록 맡기는 대신, 그들은 이 작업을 두 개의 별개 부분으로 나누었습니다. 그들은 이를 "뉴로심볼릭(neurosymbolic)" 접근 방식이라고 부르는데, 이는 단순히 신경망의 유연하고 직관적인 이해력과 기호 체계의 엄격하고 논리적인 규칙을 결형합하는 것을 의미합니다. 연구진은 역할을 분리함으로써, 비록 무해한 요청에 대해 약간 더 신중해지더라도, 안전 시스템을 훨씬 더 투명하게 만들고 해로운 행동을 예방하는 데 더 효과적이라는 것을 발견했습니다.

이 새로운 시스템에서 과정은 사용자가 프롬프트를 보내고 AI가 응답을 생성하는 것으로 시작됩니다. 판사 역할을 하는 첫 번째 AI 모델은 긴 설명이나 판결을 내리지 않습니다. 대신, 모델은 "사용자가 해로운 것을 요구하고 있는가?" 또는 "이 대화의 맥락이 무해한가?"와 같이 사전에 정의된 특정 질문들을 검토합니다. 각 질문에 대해 모델은 해당 진술이 참일 확률, 즉 백분율 점수를 계산합니다. 이 점수들은 완전히 다른 시스템인, 논리적 규칙집처럼 작동하는 두 번째 시스템으로 전달됩니다. 'ProbLog'라고 불리는 언어로 작성된 이 규칙집에는 이러한 확률들을 어떻게 결합할지에 대한 명확한 지침이 포함되어 있습니다. 예를 들어, 규칙은 만약 해로운 요청의 확률이 높고 해로운 응답의 확률도 높다면 시스템이 답변을 차단해야 한다고 명시할 수 있습니다. 그러나 요청은 무해할 가능성이 높지만 AI가 답변을 거부한 경우라면, 시스템은 답변을 통과시키기로 결정할 수 있습니다. 이 두 번째 단계는 순수하게 논리적입니다. 즉, 첫 번째 AI의 불확실한 추측을 받아 엄격한 정책 규칙을 적용하여, 답변을 유지할지, 수정할지, 아니면 완전히 차단할지에 대한 최종 권고를 생성합니다.

연구진은 이 새로운 방식을 기존의 안전 시스템들과 비교하여 테스트했습니다. 이때 테스트에는 안전 필터를 속이기 위해 설계된 450개의 표준 사례들이 포함되었습니다. 이 사례들에는 실수로 차단되기 쉬운 안전한 프롬프트와, 종종 빠져나가는 위험한 프롬프트가 모두 포함되었습니다. 그들은 이 새로운 시스템을 가드레일이 없는 기본 AI, 평문 영어로 된 규칙 세트를 읽는 시스템, 그리고 한 AI가 다른 AI의 작업을 검토하는 판사 기반 시스템과 비교했습니다. 결과는 명확한 트레이드오프(trade-off)를 보여주었습니다. 새로운 시스템은 해로운 행동을 막는 데 매우 뛰어났으며, 기본 모델의 위험 준수율을 22%에서 단 0.5%로 낮추었습니다. 이는 위험한 응답을 6%나 허용했던 판사 기반 시스템보다 더 나은 결과였습니다. 그러나 이러한 추가적인 신중함에는 비용이 따랐습니다. 새로운 시스템은 판사 기반 시스템보다 무해한 질문에 대해 더 자주 답변을 거부했으며, 과잉 거부율은 5.2% 대비 14.4%를 기록했습니다.

연구진은 두 가지 유형의 오류가 결과적으로 동등하지 않기 때문에 이러한 트레이드오프는 수용 가능하다고 주장합니다. 해로운 응답을 허용하는 것은 실질적인 피해를 입힐 수 있는 반면, 무해한 요청을 거부하는 것은 단지 사용자를 번거롭게 할 뿐이기 때문입니다. 의사 결정 과정을 가시화함으로써, 새로운 시스템은 개발자들이 왜 그러한 선택이 내려졌는지 정확히 알 수 있게 해줍니다. 개발자들은 확률 점수와 논리적 규칙을 살펴봄으로써 시스템이 너무 엄격했는지, 혹은 미묘한 위험을 놓쳤는지 이해할 수 있습니다. 이러한 투명성은 추론 과정이 하나의 복잡한 모델 내부에 숨겨져 있어 조사하거나 수정하기 어려운 현재의 방식들에 비해 핵심적인 장점입니다. 이 연구는 안전 규칙을 더 상세하게 만드는 것이 성능을 어느 지점까지는 향상시키지만, 너무 많은 세부 사항을 추가하는 것은 결국 도움이 되지 않는다는 것을 시사하며, 이는 안전 규칙이 얼마나 복잡해야 하는지에 대한 '스위트 스폿(sweet spot)'이 존재함을 나타냅니다.

궁극적으로 이 연구는 AI를 안전하게 유지하기 위해 단일하고 불투명한 지능에만 의존할 필요가 없음을 보여줍니다. 문제를 더 작고 관리 가능한 단계로 나눔으로써—먼저 사실을 추정하고, 그다음 그 사실에 논리적 규칙을 적용함으로써—개발자들은 효과적이면서도 이해 가능한 가드레일을 구축할 수 있습니다. 이 시스템은 안전성과 유용성 사이의 어려운 선택을 제거하지는 못하지만, 그 선택들을 빛 아래로 가져와 인간이 모든 결정 뒤에 있는 추론을 보고 필요에 따라 규칙을 조정할 수 있게 합니다. 이 접근 방식은 안전할 뿐만 아니라, 그 논리를 사용하는 사람들이 검토하고 이해할 수 있는 신뢰할 수 있는 AI 시스템을 구축하는 유망한 길을 제시합니다.