Rethinking Fraud Safety Evaluation: Multi-Round Attacks Reveal Safety-Utility Tradeoffs in Graph-Context LLM Defenders

기술 요약: 사기 안전성 평가 재고

문제 제기
현재 사기 방어 평가는 사기가 다중 라운드에 걸쳐 점진적으로 심화되는 현실을 포착하지 못하는 단일 라운드 벤치마크에 지나치게 의존하고 있습니다. 공격자들은 정당한 의도를 구축하고 명시적인 요청을 지연시키며 방어자의 망설임에 적응합니다. 그 결과, 단일 악성 프롬프트에서 견고해 보이는 모델도 지속적인 대화적 압박 하에서는 실패할 수 있습니다. 더 나아가 표준 평가는 모델이 사기 시도를 최종적으로 거부하는지 여부만 측정하며, 거부가 언제 발생하는지와 건전한 트래픽에 대한 오거부 (false positives) 의 비용을 무시합니다. 본 논문은 단일 라운드 평가가 사기 안전성 행동을 과소평가하고 사기 방어 보조도구 배포에 내재된 중요한 안전성–활용성 트레이드오프를 흐리게 한다고 주장합니다.

방법론
본 논문은 Fraud-R1 데이터셋을 기반으로 재연 및 적응형 공격 체제를 포함하도록 확장한 다중 라운드 평가 프레임워크를 제안합니다.

• 공격 체제:
  • 단일 라운드: 방어자는 최종 악성 메시지만을 목격합니다.
  • 재연 (Replay): 방어자는 점차 심화되는 메시지들의 고정된 대화 기록을 마주합니다.
  • 적응형: 공격자는 방어자의 이전 행동 (거부, 요청, 수용) 에 기반하여 후속 메시지를 재작성하며, 사기 목표를 유지하면서 어조와 전략을 조정합니다.
• 방어자 구성: 본 연구는 공유된 대규모 언어 모델 (LLM) 정책 ($\pi_\theta$) 과 프롬프트 템플릿을 사용하여 세 가지 컨텍스트 조건을 비교합니다.
  1. 텍스트 전용: 대화 기록만 포함.
  2. 정적 그래프: 비시간적 그래프 특성 (예: 엔티티 수, 조직 신호) 을 포함하는 직렬화된 JSON 블록.
  3. 시간적 그래프: 시간적 모티프와 위험 추세를 포함하는 동적으로 업데이트된 그래프 요약.
• 지표:
  • 초기 안전 거부 (ESR) 및 AUSR: 최종 성공 여부뿐만 아니라 거부의 시점을 측정 (안전 거부 곡선 아래 면적).
  • 오거부율 (ORR): 건전한 사례가 잘못 거부되는 비율.
  • 근접성 점수 (Grounding Score): 모델의 정당화가 입력 (메시지 또는 그래프 컨텍스트) 에 실제로 존재하는 증거를 인용하는지 평가.
• 실험 스위트: 두 개의 LLM 백본 (Qwen-1.5B 및 GPT-5.4-mini) 과 두 개의 무작위 시드를 사용하여 고정된 스위트에서 실험을 수행했습니다. 통계적 유의성은 사례별 지표 차이에 대한 쌍대 순열 검정을 통해 평가되었습니다.

주요 기여

1. 다중 라운드 공식화: 재연 및 적응형 공격자를 갖춘 다중 라운드 안전성 문제로 사기 방어를 재정의하여 고정된 단일 라운드 분류를 넘어섭니다.
2. 거부 시점을 강건성 지표로 정립: 초기 안전 거부와 지연 시간을 1 급 지표로 확립하여, 모델이 거부하는지 여부만큼 언제 거부하는지도 중요함을 입증합니다.
3. 안전성–활용성 트레이드오프 식별: 그래프 컨텍스트 방어자가 사기 측면의 초기 거부를 개선하지만, 단일 라운드 평가에서는 드러나지 않는 상당한 건전한 오거부 비용을 초래함을 실증적으로 보여줍니다.
4. 트레이드오프의 국소화: 직접 탐지와 위험 교란 제거 (shuffle-risk ablations) 를 통해 안전성–활용성 트레이드오프가 그래프 인코더의 품질이 아닌 LLM 의 컨텍스트 소비에 국소화됨을 규명했습니다. 그래프 인코더는 사기와 건전한 사례를 명확히 분리하지만, LLM 은 위험 점수의 크기가 아닌 구조화된 그래프 필드의 존재에 주로 반응합니다.
5. 설계 권장사항: 시간적 그래프 컨텍스트가 우수한 근접성으로 인해 유망한 방향임을 제안하고, LLM 이 그래프 신호를 거칠게 소비하여 발생하는 오거부를 해결하기 위한 완화 전략 (예: 위험 점수 게이트, 대칭적 프롬프트 프레임) 을 제시합니다.

결과

• 다중 라운드 vs 단일 라운드: 다중 라운드 평가는 단일 라운드 요약에서는 보이지 않는 지연 시간과 근접성에서 상당한 차이를 드러냅니다. 예를 들어, 텍스트 전용 AUSR 은 재연 (0.847) 에서 단일 라운드 (0.775) 로 떨어집니다.
• 그래프 컨텍스트의 이점: 재연 공격 하에서 시간적 그래프 컨텍스트는 AUSR 을 텍스트 전용 (0.847) 에서 0.978 로 향상시켰으며 ($p=0.0004$), 위험한 수용과 지연 시간을 현저히 줄였습니다. 적응형 공격 하에서도 유사한 이득이 관찰되었습니다.
• 건전한 오거부: 이러한 이득은 높은 비용으로 따릅니다. 건전한 재연 트래픽에서 오거부율 (ORR) 은 텍스트 전용 (0.36) 에서 그래프 컨텍스트 (0.84–0.89) 로 급증합니다.
• 시간적 vs 정적: 시간적 그래프 컨텍스트는 모든 지표, 특히 근접성 점수 (0.97 대 0.80) 에서 정적 컨텍스트보다 방향적으로 강력하지만, 현재 고정된 스위트에서 핵심 거부 지표 (AUSR) 의 차이는 통계적 유의성에 도달하지 못했습니다.
• 제거 분석 결과:
  • 인코더 품질: 그래프 인코더는 건전한 사례에는 낮은 위험 점수를, 사기 사례에는 높은 점수를 올바르게 할당합니다.
  • LLM 소비: 사례 간 위험 점수를 교란 (사례별 대응 관계 파괴) 하여도 사기 측면 AUSR 이 저하되지 않았으며, 이는 LLM 이 특정 위험 크기가 아닌 구조화된 필드의 존재에 반응함을 시사합니다.
  • 건전한 분해: 건전한 사례에서 구조화된 필드의 존재만으로도 오거부 비용의 약 75% 를 설명합니다. 나머지 부분은 높은 위험 점수에 대한 비대칭적 민감도 (낮은 점수 대비) 에 기인합니다.

의의 및 주장
본 논문은 순수 방법론 논문이 아닌 평가 및 측정 지향적 기여로 자신을 위치시킵니다. 주요 주장은 견고한 사기 평가는 다중 라운드이어야 하며, 거부 시점을 보고해야 하고, 안전성 향상과 함께 건전한 오거부를 고려해야 한다는 것입니다.

저자들은 명시적으로 결과가 한 아키텍처가 결정적으로 승리하는 "순수 방법"의 승리를 확립하지 않는다고 밝힙니다. 대신, 발견된 사실은 안전성–활용성 트레이드오프가 현재 LLM 이 구조화된 컨텍스트를 소비하는 방식의 구조적 산물임을 드러냅니다. 실패 지점은 그래프 인코더가 아니라, LLM 이 그래프 데이터의 내용이 아닌 존재에 조건을 두는 데 있습니다.

따라서 본 논문은 배포 가능한 그래프 컨텍스트 방어자가 구조화된 컨텍스트를 LLM 에 프롬프트하는 방식을 보정 (예: 낮은 점수를 위험의 부재가 아닌 안전의 증거로 프레임) 하거나 그래프 필드를 내용에 따라 가중치 부여하도록 미세 조정해야 한다고 주장합니다. 이 연구는 건전한 오거부와 거부 시점을 측정하지 않고 사기 측면의 안전성 향상만 보고하는 것은 시스템의 실제 활용도에 대한 오해의 소지가 있는 그림을 제공한다는 경고 역할을 합니다.