AegisUI: Behavioral Anomaly Detection for Structured User Interface Protocols in AI Agent Systems

이 논문은 AI 에이전트 시스템의 구조화된 UI 프로토콜에서 스키마 검사를 통과하지만 사용자를 속이는 행동적 이상을 탐지하기 위해, 4,000 개의 레이블이 지정된 페이로드 데이터셋을 구축하고 다양한 이상 탐지 모델을 평가한 'AegisUI' 프레임워크를 제안합니다.

핵심

이 논문은 **"AegisUI"**라는 새로운 보안 시스템을 소개합니다. 쉽게 말해, **"AI 가 만들어내는 화면을 감시하는 '경비원'"**에 대한 이야기입니다.

과거에는 AI 가 단순히 "텍스트"로 답변을 했지만, 이제는 AI 가 버튼, 입력창, 차트 등 화면 (UI) 을 직접 만들어 사용자에게 보여줍니다. 문제는 이 화면을 만드는 명령서 (데이터) 가 겉보기엔 완벽해 보여도, 속에는 위험한 함정이 숨어있을 수 있다는 점입니다.

이 논문의 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 문제: "완벽한 위장술"을 쓰는 사기꾼들

상상해 보세요. 은행에 방문해서 새로운 ATM 기계를 사용하려고 합니다.

• 정상적인 기계: "입금" 버튼을 누르면 돈이 들어가고, "인출" 버튼을 누르면 돈이 나옵니다.
• 위험한 기계 (공격): 겉모습은 정상 ATM 과 똑같습니다. 버튼 모양, 글씨, 색상까지 모두 정상입니다. 하지만 '인출' 버튼을 누르면 실제로는 내 통장 잔고를 모두 지우는 명령이 실행됩니다.

기존의 보안 시스템은 이 기계가 "공식 인증을 받은 부품으로 만들어졌는지"만 확인합니다. (예: 버튼이 3 개인가? 글씨가 한글인가?) 하지만 **"이 버튼이 누르면 실제로 무슨 일이 일어나는지"**는 확인하지 못합니다. 그래서 사기꾼은 겉보기엔 완벽하지만 속은 썩은 '가짜 ATM'을 만들어낼 수 있습니다.

2. 해결책: AegisUI (에이전트 UI)

저자들은 이 문제를 해결하기 위해 AegisUI라는 시스템을 만들었습니다. 이 시스템은 화면이 사용자에게 표시되기 직전에 그 명령서를 검사하는 초능력을 가진 경비원과 같습니다.

• 작동 원리: AI 가 "이 화면을 만들어줘"라고 명령할 때, AegisUI 는 그 명령서를 받아서 18 가지의 특징을 분석합니다.
  • 예시: "버튼이 너무 많지는 않은가?", "이 버튼의 이름이 '결제하기'인데, 실제 동작은 '계정 삭제'는 아닌가?", "비밀번호 입력창이 갑자기 생겼는가?" 등을 체크합니다.

3. 실험: 4,000 개의 가짜 주문서로 훈련

이 경비원 (AI 모델) 을 훈련시키기 위해 저자들은 4,000 개의 가짜 주문서를 만들었습니다.

• 3,000 개: 정상적인 주문서 (안전함).
• 1,000 개: 해커가 변조한 주문서 (위험함).
  • 위험한 유형 예시:
    1. 사기성 인터페이스: "안전한 인증"이라는 버튼을 만들어 비밀번호를 훔치는 경우.
    2. 데이터 유출: "월급"이라는 데이터를 일반 사용자에게 보여주는 실수.
    3. 조작된 UI: "승인" 버튼 뒤에 "계정 삭제" 기능을 숨긴 경우.

이 데이터를 바탕으로 세 가지 다른 '경비원' (AI 모델) 을 시험해 보았습니다.

4. 결과: 누가 가장 잘했을까?

세 가지 모델을 비교한 결과는 다음과 같습니다.

1. 랜덤 포레스트 (Random Forest): 가장 뛰어난 경비원.

   • 특징: 과거의 사기 사례 (라벨링된 데이터) 를 모두 공부했습니다.
   • 성적: 100 점 만점에 93 점의 정확도를 보였습니다. 거의 실수가 없었습니다.
   • 약점: 사기 사례를 미리 많이 공부해야만 작동합니다.

2. 오토인코더 (Autoencoder): 직관력이 뛰어난 경비원.

   • 특징: 사기 사례를 단 한 번도 보지 못했습니다. 오직 '정상적인 행동'만 공부했습니다.
   • 성적: 76 점 정도를 받았습니다.
   • 장점: 새로운 시스템이 처음 시작되어 사기 기록이 없을 때, "정상적인 패턴"만 보고 "이상한 것"을 찾아낼 수 있어 매우 실용적입니다.

3. 아이솔레이션 포레스트 (Isolation Forest): 초보 경비원.

   • 특징: 데이터의 모양이 이상하면 의심하는 방식입니다.
   • 성적: 55 점으로 가장 낮았습니다. 겉모습은 정상인데 속만 변조된 사기꾼을 잘 잡아내지 못했습니다.

5. 핵심 교훈: "작은 변조"가 가장 위험하다

가장 흥미로운 발견은 **"가장 작은 변조가 가장 잡아내기 어렵다"**는 것입니다.

• 잡기 쉬운 것: 화면에 불필요한 버튼이 50 개나 붙어있거나, 구조가 너무 복잡하게 꼬인 경우 (겉모습이 확실히 다름).
• 잡기 어려운 것: 화면은 정상인데, '확인' 버튼 하나만 '삭제'로 바꾼 경우. 전체 화면의 99% 는 정상이라서 AI 가 "아, 이건 정상이다"라고 착각하기 쉽습니다.

6. 결론 및 미래

이 논문은 **"AI 가 만드는 화면을 보호하려면, 단순히 문법 (형식) 만 체크하는 게 아니라, 행동 (의도) 을 분석해야 한다"**는 것을 증명했습니다.

• 현재: AegisUI 는 합성된 데이터로 실험했지만, 랜덤 포레스트나 오토인코더 같은 기존 기술로도 충분히 위험을 감지할 수 있음을 보였습니다.
• 미래: 더 정교하게 잡기 위해, 개별 버튼 하나하나를 분석하거나, 사용자가 화면을 조작하는 **순서 (시퀀스)**까지 분석하는 더 똑똑한 AI 를 만들 계획입니다.

한 줄 요약:

"AI 가 만들어주는 화면이 겉보기엔 완벽해도, 속은 위험할 수 있습니다. AegisUI 는 그 **속뜻 (행동)**을 읽어내어 사용자를 사기꾼으로부터 보호하는 새로운 보안 시스템입니다."

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 최근 AI 에이전트 시스템은 사용자에게 텍스트를 제공하는 것을 넘어, 버튼, 폼, 데이터 표시 등 사용자 인터페이스 (UI) 를 실시간으로 생성하고 구조화된 프로토콜 페이로드 (Payload) 로 렌더링하는 방식으로 진화하고 있습니다.
• 핵심 문제: 기존 보안 검증은 주로 구문 (Syntax) 및 스키마 유효성 검사에 의존합니다. 그러나 공격자는 스키마 검사를 통과하면서도 사용자를 속일 수 있는 행위적 불일치 (Behavioral Mismatch) 를 가진 페이로드를 생성할 수 있습니다.
  • 예시 1: "청구서 보기"라는 라벨의 버튼이 실제로는 계정을 삭제하는 행위를 수행.
  • 예시 2: 정상적인 대시보드 위젯이 내부 급여 (salary) 데이터에 연결되어 정보 유출.
  • 예시 3: 정상적인 결제 폼에 비밀번호 입력 필드가 은밀히 주입됨.
• 한계: 기존 침입 탐지 시스템 (NSL-KDD 등) 이나 피싱 검사는 네트워크 트래픽이나 렌더링된 웹 페이지를 대상으로 하며, 에이전트가 생성하는 구조화된 UI 프로토콜 페이로드의 행위적 이상을 탐지하는 벤치마크나 데이터셋이 부재했습니다.

2. 방법론 (Methodology)

저자들은 AegisUI라는 프레임워크를 개발하여 이 문제를 해결하고자 했습니다. 전체 파이프라인은 네 단계로 구성됩니다.

가. 데이터 생성 및 공격 주입 (Generation & Attack Injection)

• 생성: 5 가지 도메인 (예약, 이커머스, 분석 대시보드, 폼 제출, 워크플로우 승인) 에 맞는 정상 (Benign) 페이로드를 생성합니다.
• 공격: 정상 페이로드를 기반으로 5 가지 공격 패밀리를 적용하여 변조합니다.
  1. Phishing Interface: 인증/결제 필드 주입.
  2. Data Leakage: 민감한 내부 데이터 소스로 위젯 바인딩 변경.
  3. Manipulative UI: 버튼 라벨과 실제 동작 (예: 삭제) 을 분리.
  4. Workflow Anomaly: 승인 순서 조작.
  5. Layout Abuse: 불필요한 중첩 구조와 컴포넌트 과다 생성.
• 데이터셋: 총 4,000 개 샘플 (정상 3,000 개, 악성 1,000 개) 을 생성하여 3:1 비율로 현실적인 불균형을 반영했습니다.

나. 특징 추출 (Feature Extraction)

각 페이로드를 18 개의 수치 특징 (Numeric Features) 벡터로 변환합니다.

• 구조적 (Structural, 8 개): 컴포넌트 수, 최대 깊이, 그래프 밀도, 컨테이너 비율 등.
• 의미적 (Semantic, 5 개): 라벨 텍스트 엔트로피, 민감 키워드 (비밀번호, SSN 등) 카운트, 의미적 불일치 점수 (라벨과 숨겨진 동작의 불일치 정도).
• 바인딩 (Binding, 3 개): 바인딩 수, 민감 바인딩 플래그, 교차 컴포넌트 바인딩 비율.
• 세션 (Session, 2 개): 타임스탬프 분산, 페이로드 간격.

다. 탐지 모델 비교 (Detection Models)

세 가지 모델을 동일한 데이터셋 (80/20 분할) 으로 평가했습니다.

1. Isolation Forest (비지도 학습): 레이블 없이 이상치 탐지.
2. Autoencoder (준지도 학습): 정상 데이터만으로 학습하여 재구성 오차 (Reconstruction Error) 로 이상 탐지.
3. Random Forest (지도 학습): 레이블을 사용하여 분류.

3. 주요 기여 (Key Contributions)

1. AegisUI 프레임워크: 도메인 인식 페이로드 생성, 적대적 변조, 유효성 검사, 특징 추출, 모델 평가를 포함한 종단간 (End-to-End) 파이프라인 구축.
2. 레이블된 데이터셋: 4,000 개의 페이로드와 각 악성 샘플의 정확한 변조 내역 (어떤 컴포넌트가 어떻게 변경되었는지) 을 포함한 메타데이터 제공.
3. 18 차원 특징 추출 파이프라인: 구조, 의미, 바인딩, 세션 차원을 아우르는 체계적인 특징 설계.
4. 모델 비교 및 분석: 3 가지 모델의 성능 비교, 공격 유형별 탐지율 분석, 특징 그룹별 제거 실험 (Ablation Study) 수행.
5. 재현성 보장: 모든 코드, 데이터, 설정 파일을 공개하며 시드 (Seed) 제어를 통해 동일한 결과 재현 가능.

4. 실험 결과 (Results)

800 개 테스트 샘플 기준 성능:

모델	정확도 (Acc)	정밀도 (Prec)	재현율 (Rec)	F1-Score	ROC-AUC
Random Forest	0.931	0.980	0.740	0.843	0.952
Autoencoder	0.885	0.790	0.735	0.762	0.863
Isolation Forest	0.824	0.757	0.435	0.552	0.822

• 성능 분석:

  • Random Forest가 전반적으로 가장 우수한 성능을 보였으며, 특히 정밀도 (0.980) 가 높아 오탐지 (False Positive) 가 매우 적었습니다 (정상 샘플 600 개 중 3 개만 오검).
  • Autoencoder는 악성 레이블 없이도 훈련 가능하여 새로운 시스템 배포 시 유용하며, Random Forest 와 유사한 재현율을 보였습니다.
  • Isolation Forest는 재현율이 낮아 (0.435) 미세한 공격을 놓치는 경향이 있었습니다.

• 공격 유형별 탐지율:

  • 가장 쉬운 탐지: Layout Abuse (구조적 변화가 큼).
  • 가장 어려운 탐지: Manipulative UI (라벨만 변경, 구조는 정상). 이는 전체 페이로드를 평균화하는 특징 추출 방식의 한계로 인해 발생했습니다.

• 특징 중요도 (Feature Importance):

  • 구조적 특징 (컴포넌트 수, 깊이 등) 이 가장 큰 기여를 했습니다.
  • 세션 관련 특징 (시간 간격 등) 은 합성 데이터의 짧은 세션 특성상 효과가 미미했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실무적 함의:
  • Autoencoder의 성공은 악성 공격 데이터가 없는 초기 AI 에이전트 시스템에서도 즉시 배포 가능한 탐지기를 구축할 수 있음을 시사합니다.
  • Random Forest는 레이블이 확보된 환경에서 높은 정밀도로 운영 가능한 기준선 (Baseline) 을 제공합니다.
• 한계 및 향후 과제:
  • 현재 데이터는 합성 (Synthetic) 이며, 실제 환경의 복잡한 어휘와 적응형 공격자를 완전히 반영하지는 못했습니다.
  • 향후 연구 방향:
    1. 그래프 신경망 (GNN): 전체 페이로드의 평균 특징 대신, 개별 컴포넌트나 하위 그래프 단위의 이상 탐지 (GraphSAGE 등).
    2. 시퀀스 모델링: 세션 내 페이로드 순서를 LSTM 또는 Transformer 로 분석.
    3. 실제 환경 검증: 합성 데이터로 훈련된 모델을 실제 운영 시스템의 익명화된 트래픽으로 검증.

결론적으로, AegisUI 는 AI 에이전트가 생성하는 UI 프로토콜의 행위적 이상 탐지가 단순한 특징과 기존 머신러닝 모델로도 가능함을 증명했으며, 특히 구조적/의미적 불일치를 감지하는 새로운 보안 패러다임을 제시했습니다.