Attribution Consistency in Fine Tuning Makes Refusal Less Sensitive to Paraphrase in a Small Tool Using LLM Agent
이 예비 연구는 미세 조정 과정에서 잠재 기여도 정규화(Latent Attribution Regularization, LAR)를 적용하는 것이 소규모 도구 사용 LLM 에이전트의 기여도 일관성을 향상시켜, 탐지 성능을 크게 저하시키지 않으면서도 바꾸어 표현된 유해한 요청에 대한 민감도를 줄이고 거절 결정을 안정화하는 동시에, 무해한 예시에 적용될 경우 과도한 거절의 위험이 있음을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인공지능의 세계에는 에이전트라고 알려진 새로운 부류의 시스템이 늘어나고 있습니다. 단순히 질문에 답하는 일반적인 챗봇과 달리, 이 에이전트들은 행동을 취하도록 설계되었습니다. 이들은 도구를 사용하거나, 코드를 실행하거나, 다른 소프트웨어와 상호작용하여 복잡한 과업을 완수할 수 있습니다. 이러한 능력은 이들을 매우 유용하게 만들지만, 동시에 안전에 대한 책임을 높입니다. 만약 챗봇이 해로운 요청을 오해한다면 그저 나쁜 답변을 내놓는 데 그치겠지만, 에이전트가 동일한 요청을 오해한다면 파일을 삭제하거나 개인 데이터를 전송하는 것과 같은 위험한 행동을 실행할 수도 있습니다. 이를 방방지하기 위해 연구자들은 모델이 해로운 지시를 거절하도록 가르칩니다. 하지만 이러한 안전 훈련은 놀라울 정도로 취약합니다. 모델은 어떤 방식으로 표현된 요청은 거절할 수 있지만, 만약 사람이 동일한 요청을 다른 단어나 다른 문장 구조를 사용하여 다시 표현한다면, 모델은 갑자기 그 해로운 일을 수행하는 것에 동의할 수도 있습니다. 이러한 불일치는 신뢰할 수 있는 에이전트를 현실 세계에 배치하는 데 있어 주요한 장애물입니다.
주나이드 하산(Junaid Hassan)이라는 연구자는 바로 이 불일치 문제를 해결하기 위해 나섰습니다. 목표는 단순히 모델이 더 자주 거절하게 만드는 것이 아니라, 그 거절을 안정적으로 만드는 것이었습니다. 모든 것을 거절하는 모델은 일관적이지만, 무해한 작업에도 도움을 주지 못하므로 쓸모가 없게 됩니다. 과제는 모델이 너무 조심스러워져서 "예"라고 말해야 할 때조차 말하지 못하게 만들지 않으면서도, 단어의 변화에 대해 "아니오"라고 말하는 결정이 견고하게 유지되도록 하는 방법을 찾는 것이었습니다. 이를 테스트하기 위해, 연구자는 도구를 사용하도록 설계된 작고 효율적인 AI 모델과 함께 작업했습니다. 연구팀은 에이전트가 해로운 작업을 수행하도록 요청받는 수백 가지 시나리오와 그에 대응하는 안전한 버전의 작업들이 포함된 AgentHarm이라는 데이터셋을 사용했습니다. 결정적으로, 각 해로운 요청은 여러 개의 다른 패러프레이즈(paraphrase, 다른 말로 바꾸어 표현하기)와 짝을 이루어, 단어는 바뀌더라도 의미가 유지될 때 모델의 결정이 변하는지를 연구자들이 확인할 수 있게 했습니다.
연구자는 잠재 속성 정규화(Latent Attribution Regularization)라는 새로운 훈련 방법을 테스트했습니다. 간단히 말해, 이 방법은 모델이 읽는 단어들의 중요도를 일관된 방식으로 주목하도록 가르칩니다. 모델이 요청을 처리할 때, 모델은 무엇을 할지 결정하기 위해 각 단어에 중요도 수준을 할당합니다. 훈련 페널티는 요청이 다른 단어로 재작성되더라도 아이디어에 할당된 중요성의 패턴이 동일하게 유지되도록 보장합니다. 이는 단순히 원래의 요청과 재작성된 요청 모두에 대해 올바른 답을 내도록 시도할 뿐, 생각하는 방식에서의 이러한 일관성을 강제하지 않는 표준 훈련 방식과 비교됩니다. 연구는 결과의 차이가 무작위적인 운이나 데이터 양의 차이가 아니라 훈련 기법 자체에서 온 것임을 확실히 하기 위해 두 방법을 공정하게 비교하는 데 주의를 기울였습니다.
결과는 새로운 방법이 효과가 있었음을 보여주었습니다. 모델이 지나치게 조심스러워지지 않도록 특정 소수의 무해한 작업에 대해 거절하도록 조정했을 때, 일관성 훈련을 받은 모델이 훨씬 더 안정적이었습니다. 표준 훈련 그룹에서는 약 25%의 작업군에서 혼합된 결과가 나타났는데, 이는 모델이 요청의 한 버전은 거절하면서도 그 패러프레이즈 버전에는 응낙한다는 것을 의미합니다. 새로운 일관성 훈련법을 사용하면 이 수치가 19%로 떨어졌습니다. 또한, 단지 단어가 바뀌었다는 이유만으로 모델의 결정이 "아니오"에서 "예"로 뒤집히는 비율이 약 11%에서 9%로 감소했습니다. 연구자들은 특정 임계값에 관계없이 거절할 가능성을 반영하는 점수를 측정하였고, 이 점수가 단어의 변화에 따라 훨씬 적게 변한다는 것을 발견했습니다. 이는 모델의 거절 결정을 내리는 내부 논리가 더욱 견고해졌음을 나타냅니다.
중요하게도, 이 연구는 이러한 안정성이 해로움을 감지하는 모델의 능력을 희생시키며 오지 않았음을 확인했습니다. 새로운 방법은 해로운 요청과 무해한 요청을 구분하는 모델의 전반적인 능력을 유의미하게 개선하거나 악화시키지 않았습니다. 개선은 순수하게 의사결정 과정의 일관성에 있었습니다. 그러나 연구는 향후 작업을 위한 경고 역할을 하는 중요한 실패 사례를 밝혀냈습니다. 초기 시도에서 연구자들이 텍스트 기반의 예시만을 사용하여 모델에게 무해한 작업을 처리하는 법을 가르치려 했을 때, 모델은 나쁜 습관을 배웠습니다. 모델은 도구를 사용하는 거의 모든 요청(안전한 요청까지도)을 거절하기 시작했고, 도구 사용을 완전히 중단했습니다. 이는 훈련 데이터가 모델에게 도구를 안전한 맥락에서 사용하는 방법을 보여주지 않았기 때문에 발생했습니다. 이 실패는 에이전트의 경우, 단순히 질문에 답하는 법뿐만 아니라 도구를 안전하게 사용하는 맥주를 포함한 훈련 데이터가 필요함을 강조합니다.
연구는 AI 에이전트의 거절 결정을 일관되게 만드는 것이 가능하지만, 이는 단순히 최종 답변만을 보는 것이 아니라 모델이 정보를 처리하는 방식을 살펴보는 특정 훈련 기법을 필요로 한다고 결론짓습니다. 결과는 유망하지만, 하나의 작은 모델과 제한된 수의 테스트 실행에 기반한 예비적인 단계입니다. 연구자는 향후 더 큰 모델, 더 다양한 훈련 데이터, 그리고 패러프레이즈가 진정으로 동등한지 확인하기 위한 인간 검토자를 대상으로 테스트가 필요하다고 언급했습니다. 이 연구는 명확한 방향을 제시합니다. 즉, 에이전트가 읽는 단어의 비중을 두는 방식을 일관되게 가르침으로써, 우리는 요청이 다르게 표현되었다는 이유만으로 실수로 해로운 일에 동의하는 일이 없도록 하여 에이전트를 더 안전하고 신뢰할 수 있게 만들 수 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.