💻 computer science

RoboKA: KAN Informed Multimodal Learning for RoboCall Surveillance System

공공 로보콜 데이터셋의 부족 문제를 해결하기 위해 본 논문은 다양한 적대적 전략을 포함한 합성 데이터셋인 Robo-SAr 를 소개하고, 음향 및 언어적 단서 간의 구조화된 비선형 상호작용을 효과적으로 모델링함으로써 기존 베이스라인보다 로보콜 탐지 성능이 뛰어난 콜모고로프-아르놀드 네트워크 기반의 멀티모달 프레임워크인 RoboKA 를 제안한다.

원저자: Nitin Choudhury, Nikhil Kumar, Aditya Kumar Sinha, Abhijeet Anand, Hossein Salemi, Orchid Chetia Phukan, Hemant Purohit, Arun Balaji Buduru

게시일 2026-05-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nitin Choudhury, Nikhil Kumar, Aditya Kumar Sinha, Abhijeet Anand, Hossein Salemi, Orchid Chetia Phukan, Hemant Purohit, Arun Balaji Buduru

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

가상의 상황을 상상해 보세요. 실제 기자들로 가득 찬 군중 속에서 가짜 뉴스 리포터를 찾아내려 한다고 가정해 봅시다. 보통은 배지 (텍스트) 를 확인하거나 목소리 (오디오) 를 들어보며 판단합니다. 하지만 가짜 리포터가 완벽한 배지를 소유했고, 신뢰받는 뉴스 앵커와 똑같은 목소리를 낸다면 어떨까요? 이것이 오늘날의 **로보콜 (robocalls)**이 안고 있는 도전 과제입니다.

이 논문은 사기꾼들이 고급 인공지능 (AI) 을 활용하여 더욱 인간처럼 들리게 만드는, 점점 식별하기 어려워지는 이러한 기만적인 자동 전화 걸기를 탐지하는 문제를 다룹니다. 여기서는 그들의 해결책인 RoboKA를 간단한 비유를 통해 설명합니다.

1. 문제: "완벽한" 가짜

사기꾼들은 이제 두 가지 강력한 도구를 사용합니다:

AI 음성 생성기 (TTS): 목소리를 복제하거나 컴퓨터가 특정 감정 (가짜 분노나 가짜 동정심 등) 을 담아 말하게 하여 당신을 속일 수 있습니다.
AI 작성기 (LLM): 당신에게 긴박감이나 공포심을 느끼게 하는 심리학적 트릭을 포함한 대본을 작성할 수 있습니다.

기존 보안 시스템은 바운서처럼 한 가지 것만 확인합니다. 신분증 (대본) 을 보거나 목소리 (오디오) 를 듣는 것입니다. 사기꾼이 목소리는 바꾸되 대본은 유지하거나, 대본은 바꾸되 목소리는 유지하면 이러한 바운서들은 혼란에 빠집니다. 또한, 연구자들은 이러한 특정 유형의 가짜를 포함한 공개된 "훈련장 (데이터셋)"이 없었기 때문에 새로운 아이디어를 테스트할 수 없었습니다.

2. 훈련장: Robo-SAr

데이터 부족 문제를 해결하기 위해 저자들은 Robo-SAr이라는 거대하고 합성적인 훈련장을 구축했습니다.

비유: 이를 "사기 시뮬레이터"라고 생각하세요. 그들은 실제 사기꾼들을 단순히 녹음한 것이 아니라, 수천 개의 가짜 전화를 생성하는 공장을 만들었습니다.
수행 방법: 그들은 AI 작성기를 사용하여 긴박감, 권위와 같은 심리학적 트릭이 포함된 대본을 만들고, AI 음성 엔진을 통해 14 가지 다른 목소리로 읽게 했습니다. 여기에는 유명인의 목소리를 복제한 것과 "불안한" 또는 "기쁜" 등 8 가지 감정을 표현하는 목소리가 포함되었습니다.
결과: 현재 사기꾼들이 사용하는 가장 위험한 트릭들을 포괄하는 약 2,400 건의 전화 데이터셋 (절반은 가짜, 절반은 합법적) 이 생성되었습니다. 또한 훈련의 현실성을 확보하기 위해 연방거래위원회 (FTC) 의 실제 전화 기록도 추가했습니다.

3. 해결책: RoboKA ("수퍼 탐정")

저자들은 RoboKA라는 새로운 시스템을 제안합니다. 이는 단순히 목소리나 텍스트를 따로 확인하는 것이 아니라, 탐정처럼 둘을 동시에 확인하고 서로의 관계를 이해하는 방식입니다.

RoboKA 가 작동하는 방식을 단계별로 살펴봅니다:

A. "교차 모달" 정렬 (이야기를 일치시키기)

개념: 결정을 내리기 전에 RoboKA 는 "목소리"와 "텍스트"가 이야기의 일치를 이루도록 강제합니다.
비유: 용의자가 경찰관에게 이야기를 한다고 상상해 보세요. 만약 용의자가 "나는 공원에 있었다"라고 말하지만, 그의 목소리는 지하에서 떨리며 속삭이는 것처럼 공포에 질린 듯 들린다면, 이야기와 톤이 맞지 않습니다. RoboKA 는 **대비 학습 (Contrastive Learning)**이라는 기법을 사용하여 오디오와 텍스트가 "같은 페이지"에 있도록 합니다. 만약 이것이 실제 전화의 예상 패턴과 일치하지 않으면, 빨간 신호를 켭니다.

B. "KAN" 뇌 (유연한 필터)

이것이 이 논문의 가장 큰 혁신입니다. 대부분의 AI 시스템은 결정을 내리기 위해 표준적인 "뇌" (MLP 라고 함) 를 사용합니다. 저자들은 표준적인 뇌가 너무 경직되어 있어 곧은 자와 같다고 주장합니다. 곧은 자는 곧은 선만 그을 수 있습니다.

문제: 사기꾼들은 교활합니다. 그들은 목소리의 높낮이나 대본의 문구를 곧은 자로 측정할 수 없는 복잡하고 굽은 방식으로 변경할 수 있습니다.
해결책 (KAN): RoboKA 는 **콜모고로프 - 아르놀드 네트워크 (Kolmogorov–Arnold Network, KAN)**를 사용합니다.
비유: 곧은 자 대신, 어떤 모양에도 맞춰 변형될 수 있는 유연하고 늘어나는 고무줄을 상상해 보세요.
- 표준 AI 는 "좋은 전화"와 "나쁜 전화"를 분리하기 위해 곧은 선을 그리려 합니다.
- RoboKA 의 KAN 은 그 선을 늘리고 구부려 사기꾼들의 트릭이 가진 복잡하고 뒤틀린 모양을 완벽하게 감싸도록 합니다. 이는 목소리와 단어 사이의 특정 비선형적인 "춤"을 학습하게 하여, 사기꾼이 틈을 타는 것을 훨씬 더 어렵게 만듭니다.

C. "불확실성" 균형 (언제 의심할지 알기)

개념: 때로는 오디오에 노이즈가 있거나 텍스트가 이상할 수 있습니다. RoboKA 는 내장된 "불확실성 미터"를 갖추고 있습니다.
비유: 증거가 흔들릴 때를 아는 판사를 상상해 보세요. 오디오가 너무 왜곡되면 판사는 텍스트를 더 신뢰합니다. 텍스트가 혼란스럽다면 판사는 목소리를 더 신뢰합니다. RoboKA 는 한 가지 나쁜 데이터가 전체 판결을 망치지 않도록 "목소리 증거"와 "텍스트 증거" 중 어느 쪽을 얼마나 신뢰할지 자동으로 균형을 맞춥니다.

4. 결과: 왜 승리하는가

저자들은 네 가지 다른 시나리오에서 다른 시스템과 RoboKA 를 비교 테스트했습니다:

새로운 목소리: AI 가 이전에 들어본 적이 없는 목소리를 탐지할 때.
새로운 감정: AI 가 훈련 과정에서 보지 못한 감정이 포함된 전화를 탐지할 때.
무작위 혼합: 무작위 데이터를 사용한 표준 테스트.
실제 세계: 연방거래위원회 (FTC) 의 실제 전화로 테스트 (최종 시험).

결과:
RoboKA 는 모든 다른 시스템을 일관되게 능가했습니다.

가장 어려운 "실제 세계" 테스트에서 표준 시스템은 나쁜 전화의 약 67% 를 적발했습니다.
RoboKA 는 82% 를 적발했습니다.

요약

이 논문은 현대 로보콜을 막기 위해서는 대본만 보거나 목소리만 들어서는 안 된다고 주장합니다. 대신 다음과 같은 시스템이 필요합니다:

대규모이고 다양한 AI 생성 가짜 라이브러리에서 훈련 (Robo-SAr).
목소리와 텍스트가 일치하도록 강제 (교차 모달 학습).
경직된 시스템이 놓치는 복잡한 트릭을 이해하기 위해 유연한 "고무줄" 뇌 사용 (KAN).
증거의 명확도에 따라 신뢰도를 조정하는 능력.

이러한 요소들을 결합함으로써 RoboKA 는 합법적인 전화와 사기 전화 사이의 훨씬 더 날카롭고 유연한 경계를 만들어, AI 기반 사기꾼들이 시스템을 속이는 것을 훨씬 더 어렵게 만듭니다.

"RoboKA: RoboCall 감시 시스템을 위한 KAN 기반 다중 모달 학습" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

고급 텍스트 음성 변환 (TTS) 과 대규모 언어 모델 (LLM) 에 의해 생성되는 자동화된 로보콜의 확산은 심각한 보안 및 재정적 위협을 초래합니다. STIR/SHAKEN 과 같은 규제 프레임워크는 발신자 ID 스푸핑을 해결하지만, 악의적인 행위자가 다음을 사용하여 생성한 기만적 콘텐츠를 탐지하지는 못합니다:

심리언어학적 조작: LLM 을 사용하여 설득력 있거나 긴급하거나 감정적으로 고조된 대본을 작성합니다.
감정 유발: TTS 를 사용하여 특정 감정 (예: 공포, 기쁨) 을 주입하여 피해자를 조작합니다.
음성 복제: 사용자의 의심을 우회하기 위해 신뢰받는 목소리를 모방합니다.

주요 과제:

데이터 부족: 개인정보 보호 우려로 인해 공개되고 재현 가능한 데이터셋이 부족하여 기존 연구가 저해받고 있습니다. 대부분의 기존 데이터셋은 독점적이거나, 소규모이거나, 적대적 다양성이 부족합니다.
분포 변화: 현재 탐지 시스템 (단일 모달 오디오 또는 텍스트) 은 취약합니다. 공격자는 음향 특징 (억양, 음성) 이나 언어적 콘텐츠를 독립적으로 조작하여 탐지를 회피할 수 있습니다.
모델 한계: 표준 융합 방법 (예: MLP, 연결) 은 종종 적대적 변화 하에서 기만적 통화를 구별하는 데 필요한 음향 및 언어적 단서 간의 복잡하고 구조화된 비선형 상호작용을 포착하지 못합니다.

2. 방법론

이 논문은 새로운 데이터셋 (Robo-SAr) 과 새로운 탐지 프레임워크 (RoboKA) 라는 두 가지 측면의 솔루션을 제안합니다.

A. 데이터셋: Robo-SAr (RoboCall–Simulated Adversarial)

데이터 격차를 해소하기 위해 저자들은 다음과 같이 구성된 합성 적대적 데이터셋을 큐레이션했습니다:

규모: 약 1,200 개의 원치 않는 합성 샘플과 약 1,200 개의 합법적 합성 샘플, 그리고 FTC Do Not Call (DNCR) 등록부에서 수집된 실제 데이터.
적대적 축:
1. 심리언어학: ChatGPT-4o 와 같은 LLM 에 의해 조작된 대본으로 긴급성, 공감, 권위 프레임워크를 주입합니다.
2. 감정 유발: TTS 모델을 사용하여 8 가지 뚜렷한 감정 (예: 분노, 불안, 희망) 으로 합성된 음성.
3. 음성 복제: 4 가지 최첨단 TTS 엔진 (Bark, OpenAI TTS, SpeechT5, xTTS) 을 통해 14 가지 뚜렷한 목소리 (유명인 복제 포함) 로 합성.
현실성: 샘플은 전화기 아티팩트를 시뮬레이션하기 위해 대역 통과 필터링 (300–3400 Hz) 되고 백색 소음으로 증강됩니다.
검증: ASR 에 대한 단어 오류율 (WER) 과 인간 주석 (Fleiss' Kappa 및 Mean Opinion Score) 을 통해 검증되었습니다.

B. 모델: RoboKA (Kolmogorov–Arnold Network 기반)

RoboKA 는 오디오와 텍스트 간의 구조화된 비선형 상호작용을 모델링하도록 설계된 다중 모달 프레임워크입니다.

특징 추출:
- 오디오: Wav2Vec2, WavLM, 또는 HuBERT 와 같은 프리트레인된 모델 (PTM) 을 고정 (frozen) 하여 사용합니다.
- 텍스트: BERT, RoBERTa, 또는 GPT-2 와 같은 PTM 을 고정하여 사용합니다.
- 적응: 두 모달리티 모두 고정 차원의 임베딩을 생성하기 위해 경량 1D CNN 헤드를 통과합니다.
교차 모달 대비 학습 (CMCL):
- 분류 전에 모델은 InfoNCE 손실 함수를 사용하여 오디오와 텍스트 표현을 정렬합니다. 이는 특정 통화의 잠재적 표현이 모달리티 간에 의미적으로 일관되도록 보장하여, 한 모달리티의 노이즈 (예: ASR 오류 또는 억양 조작) 에 대해 모델을 견고하게 만듭니다.
KAN 기반 융합 (핵심 혁신):
- 표준 다층 퍼셉트론 (MLP) 대신 RoboKA 는 Kolmogorov–Arnold Networks (KANs) 를 사용합니다.
- 메커니즘: KAN 은 에지 (edge) 에서 고정된 활성화 함수 대신 학습 가능한 단변수 함수 (스플라인 기반) 를 대체합니다. 이를 통해 네트워크는 MLP 보다 효율적이고 해석 가능하게 모달리티 간의 복잡하고 부드러운 비선형 의존성을 학습할 수 있습니다.
- 아키텍처:
  - 모달리티별 KAN 헤드: 오디오 및 텍스트 특징을 독립적으로 보정합니다.
  - 적층 KAN 융합: 보정된 특징을 연결하고 이를 적층된 KAN 레이어에 통과시켜 결합된 오디오 - 텍스트 의존성을 모델링합니다.
불확실성 기반 손실 융합:
- 전체 손실 함수는 대비 손실 ( $L_C$ ) 과 이진 교차 엔트로피 ( $L_{BCE}$ ) 를 결합합니다.
- 고정된 가중치 대신 모델은 두 목표를 불확실성에 기반하여 적응적으로 균형 잡기 위해 스칼라 매개변수 ( $\sigma_C, \sigma_{BCE}$ ) 를 학습하여 훈련 중 한 작업이 지배하는 것을 방지합니다.

3. 주요 기여

Robo-SAr 데이터셋: LLM 조작, 감정, 음성 복제라는 세 가지 주요 공격 벡터를 포괄하는 로보콜 감시를 위해 특별히 설계된 최초의 공개적으로 이용 가능한 적대적으로 강화된 합성 코퍼스.
RoboKA 프레임워크: 다중 모달 로보콜 탐지를 위해 KAN 을 적용한 최초의 사례. MLP 가 놓치는 비선형 상호작용을 KAN 을 통해 포착하여 더 견고한 결정 경계를 제공합니다.
종합 벤치마킹: 네 가지 뚜렷한 시나리오에 대한 광범위한 평가:
- T1: TTS 엔진 홀드아웃 (보지 못한 TTS 모델).
- T2: 감정 홀드아웃 (보지 못한 감정).
- T3: 무작위 도메인 내 홀드아웃.
- T4: 실제 FTC 데이터에 대한 도메인 외 (OoD) 테스트.

4. 실험 결과

저자들은 RoboKA 를 강력한 단일 모달 및 다중 모달 베이스라인 (연결, 후기 융합 MLP, 교차 모달 어텐션) 과 비교 벤치마킹했습니다.

성능 향상: RoboKA 는 특히 가장 도전적인 도메인 외 (T4) 설정에서 모든 베이스라인을 일관되게 능가했습니다.
- 실제 DNCR 데이터셋에서 RoboKA 는 **원치 않는 통화 재현율 (uRc) 82.21%**를 달성하여 최상의 비-KAN 베이스라인 (67.21%) 을 크게 능가했습니다.
- T1(TTS 홀드아웃) 설정에서 RoboKA 는 최상의 베이스라인 대비 Macro-F1 을 +17.44% 향상시켰습니다.
애블레이션 연구:
- KAN 구성 요소를 제거하고 MLP 로 되돌리는 것은 특히 OoD 설정에서 성능이 크게 저하되어 비선형 보정의 필요성을 확인시켰습니다.
- CMCL 을 제거하면 모달리티별 노이즈에 대한 견고성이 감소했습니다.
- 불확실성 가중 손실은 분포 변화 전반에 걸쳐 안정성을 향상시켰습니다.
모달리티 분석: 단일 모달 오디오 모델은 감정 변화 하에서 크게 저하되는 반면, 텍스트 모델은 안정적이지만 ASR 오류에 취약했습니다. 다중 모달 융합은 이 격차를 메웠으며, RoboKA 는 "무엇이 말해졌는지 (텍스트)"와 "어떻게 말해졌는지 (오디오)"의 상호 보완성을 극대화했습니다.

5. 의의 및 결론

이 연구는 재현 가능한 벤치마크와 최첨단 탐지 아키텍처를 제공함으로써 로보콜 방어 연구의 중요한 격차를 해소합니다.

견고성: KAN 을 활용함으로써 시스템은 음향 억양과 언어적 의도 간의 복잡하고 비선형적인 상호작용을 효과적으로 모델링하여, 적대자가 단일 모달리티를 조작하여 탐지를 회피하는 것을 더 어렵게 만듭니다.
재현성: Robo-SAr 의 공개는 향후 연구가 표준화된 적대적 데이터셋을 기준으로 벤치마킹할 수 있게 하여 누적적 발전을 촉진합니다.
실질적 영향: 이 프레임워크가 실제 세계의 보지 못한 데이터 (FTC DNCR) 로 일반화될 수 있는 능력은 매년 로보콜 사기로 인해 손실되는 수십억 달러를 완화하기 위한 실제 감시 시스템에 배포할 수 있는 실현 가능한 후보임을 시사합니다.

한계: 현재 연구는 영어로 제한되어 있으며, OoD 평가는 정밀도 분석을 위한 실제 세계의 합법적 통화 데이터 부재로 인해 긍정적 데이터만 테스트하는 데 의존합니다. 향후 작업은 다국어 지원을 다루고 합성 및 실제 세계 음향 간의 도메인 격차를 개선하는 것을 목표로 합니다.