Teleoneutrosophic Logic for Three-Way Authorisation of Institutional AI Agents
이 논문은 기관용 AI 에이전트의 3자 인증을 가능하게 하기 위해 효과와 목적을 위한 별도의 뉴트로소픽(neutrosophic) 트리플을 결합하여, 정당한 외부 요청과 악의적인 유인책을 구분함으로써 직접적 위해 통과를 효과적으로 줄이는 출처 인식 프레임워크인 텔레뉴트로소픽 로직(Teleoneutrosophic Logic)을 제안한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 디지털 세계에서 정부 기관과 대형 기관들은 시민의 청원을 요약하거나 세금 기록을 관리하는 것과 같은 복잡한 업무를 처리하기 위해 인공지능을 사용하기 시작하고 있습니다. 이러한 AI 에이전트는 강력한 도구이지만, 독특하고 위험한 문제에 직면해 있습니다. 바로 속임수에 넘어갈 수 있다는 점입니다. 예를 들어, 한 시민이 세금 문제에 관한 청원서를 제출했는데, 그 문서 안에 낯선 사람의 계좌로 돈을 이체하라는 비밀 지시가 숨겨져 있다고 가정해 보십시오. AI에게 이 지시는 그저 따라야 할 또 다른 명령처럼 보일 뿐입니다. 보안 전문가들의 과제는 권한이 있는 공직자의 정당한 명령과, AI가 단순히 읽고 있는 문서 속에 숨겨진 은밀한 명령을 구별하는 것입니다. 전통적인 보안 시스템은 종로 종종 돈 이체와 같은 '행위' 자체에만 주목하며, 누가 왜 그 일을 요청했는지 이해하는 데 어려움을 겪습니다. 이러한 격차는 공격자가 AI가 처리하는 데이터 안에 악의적인 지침을 숨기는 '프롬프트 인젝션(prompt injection)'에 기관들을 취약하게 만듭니다.
이를 해결하기 위해 연구자 셀축 토팔(Selçuk Topal)과 부으라 아얀(Buğra Ayan)은 AI 에이전트가 요청을 수행할지 여부를 결정하는 새로운 방법을 개발했습니다. '텔레오뉴토소픽 논리(Teleoneutrosophic Logic)'라고 불리는 그들의 접근 방식은 행동 승인을 세 가지 선택지로 취급합니다. 즉, 시스템은 행동을 승인하거나, 거부하거나, 혹은 인간의 검토를 위해 일시 중단할 수 있습니다. 이 혁신의 핵심은 '무엇을(what)'과 '왜(why)'를 분리하는 것입니다. 시스템은 행위 자체(결과)와 지침의 출처(목적)를 두 개의 별개 증거로 평가합니다. 결정적으로, 시스템은 모든 출처에 신뢰 점수를 부여합니다. 검증된 정부 관료로부터의 직접적인 명령은 높은 신뢰 점수를 갖는 반면, 시민이 업로드한 문서나 출처를 알 수 없는 발신자의 이메일은 낮은 점수를 받습니다. 시스템은 이 점수를 잠재적인 위해 가능성과 비교하여 무게를 둡니다. 신뢰도가 낮은 출처가 높은 수준의 위험을 초라하는 결정에 영향을 미치려 할 경우, 시스템은 단순히 이를 무시하는 것이 아니라, 명확하고 신뢰할 수 있는 목적이 결여되었다는 이유로 결정을 일시 중단하고 인간에게 검토를 요청하도록 합니다.
연구진은 시뮬레이션된 공격과 현실적인 정부 시나리오를 활용한 방대한 자료를 통해 이 시스템을 테스트했습니다. 그들은 공격자들이 AI 에이전트를 속여 데이터를 훔치거나 승인되지 않은 환불을 발행하도록 유도하는 1,000개 이상의 시나리오를 만들었습니다. 이 테스트에서 새로운 시스템은 신뢰할 수 없는 출처로부터 오는 공격을 막아내는 데 매우 효과적임을 입증했습니다. 시스템이 요청이 신뢰할 수 없는 채널에서 왔음을 올바르게 식별했을 때, 설령 숨겨진 지침이 매우 설득력 있게 보이더라도 AI가 행동하는 것을 방지했습니다. 연구 결과, 요청의 '목적'을 '결과'와 분리함으로써 시스템이 성공적인 공격률을 위험한 수준에서 매우 작은 부분으로 줄일 수 있음을 발견했습니다. 예를 들어, 직접적인 해를 끼치는 설정이 포함된 한 테스트 세트에서, 레이블이 정확했을 때 시스템은 성공적인 공격 횟수를 36% 이상에서 2% 미만으로 줄였습니다. 심지어 시스템이 위험한 출처를 신뢰할 수 있는 것으로 잘못 분류하도록 속았을 때조차, 성공률을 80% 이상에서 약 35%로 떨어뜨리며 대부분의 공격을 차단해 냈습니다.
하지만 연구진은 이 접근 방식의 한계 또한 발견했습니다. 이 시스템은 서로 다른 채널에 할당된 신뢰 레이블의 정확도에 크게 의존합니다. 만약 공격자가 악의적인 출처를 신뢰할 수 있는 것으로 믿도록 시스템을 속이는 데 성공한다면 보호 기능은 약화됩니다. 또한, 연구는 이 시스템이 모든 상황에서 완벽하게 작동하는 마법의 방패가 아님을 보여주었습니다. 특정 지침 없이 시민들의 일반적인 요청을 처리해야 하는 경우, 시스템은 신중하게 반응하며 자주 인간의 검토를 위해 일시 중단되었습니다. 이러한 신중함은 오류가 아니라 의도된 기능입니다. 이는 AI가 실수로 해로운 행동을 승인하지 않도록 보장합니다. 연구진은 이 시스템이 명백한 공격을 막는 데는 탁월하지만, 복잡하거나 모호한 상황에서는 여전히 인간의 감독이 필요하다는 점을 발견했습니다. 또한 시스템이 학습하고 개선되기 위해서는 신뢰할 수 없는 채널로부터 오는 정당한 요청의 사례를 접해야 하는데, 현재 훈련 데이터에는 이러한 사례가 드물다는 점도 언급했습니다. 이러한 사례가 없다면 시스템은 시민들의 유효한 요청을 실수로 차단할 수도 있습니다.
연구는 이 새로운 논리가 AI 에이전트를 보호하는 데 있어 중요한 진전이지만, 단독 해결책은 아니라고 결론짓습니다. 이 방식은 데이터가 어떻게 레이블링되고 추적되는지에 대한 엄격한 규칙과 결합될 때 가장 잘 작동합니다. 연구진은 레이블이 정확하다는 전제하에, 신뢰할 수 없는 입력을 의심스러운 것으로 취급하는 단순하고 엄격한 규칙이 자신들의 복잡한 시스템만큼 안전할 수 있음을 입 demonstrated 했습니다. 이 연구의 진정한 가치는 불확실성을 다루는 방법을 보여주는 데 있습니다. 시스템이 '양가성(ambivalence)'—즉, 요청이 안전한지 안전하지 않은지 확신할 수 없는 상태—을 표현할 수 있게 함으로써, 단순한 예/아니오 필터보다 더 현명한 결정을 내릴 수 있게 합니다. 이러한 접근 방식은 AI 에이전트가 민감한 작업을 수행하도록 요청받았을 때, 단순히 그 작업이 가능한지를 확인하는 것이 아니라 그 요청을 하는 사람이 그럴 권한이 있는지를 확인하게 합니다. 연구 결과는 AI가 정부 및 핵심 기반 시설에서 안전하게 사용되기 위해서는, 명령과 제안의 차이를 이해하고, 언제 물러나 인간이 운전대를 잡게 해야 하는지를 아는 시스템을 구축해야 함을 시사합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.