ChartAttack: Testing the Vulnerability of LLMs to Malicious Prompting in Chart Generation

1. 문제 정의 (Problem)

• 배경: 멀티모달 대규모 언어 모델 (MLLM) 은 데이터 테이블로부터 차트를 자동 생성하여 데이터 분석 및 보고를 효율화하고 있습니다.
• 위협: 이러한 기술은 악의적인 프롬프트 (Malicious Prompting) 를 통해 오해의 소지가 있거나 허위 정보를 담은 차트 (Misleading Charts) 를 대량으로 생성하는 데 악용될 수 있습니다.
• 핵심 문제: 기존 연구는 MLLM 이 잘못된 차트를 해석하는 능력이나 잘못된 차트를 탐지하는 능력에 초점을 맞췄으나, MLLM 이 스스로를 악용하여 인간과 다른 MLLM 을 기만할 수 있는 차트를 생성하는지 (Jailbreak Attack) 그리고 그 영향력이 얼마나 큰지는 체계적으로 평가되지 않았습니다.

2. 방법론 (Methodology)

저자들은 ChartAttack이라는 새로운 프레임워크와 이를 지원하기 위한 AttackViz 데이터셋을 제안했습니다.

A. ChartAttack 프레임워크

이 프레임워크는 차트 주석 (JSON 형식의 데이터 및 포맷팅 사양) 에 '오도하는 요소 (Misleaders)'를 주입하여 특정 질문에 대한 잘못된 답변을 유도하는 것을 목표로 합니다.

1. Demonstration Selection Module (시연 선택 모듈):
   • SBERT 모델을 미세 조정하여 (Multiple Negative Ranking Loss 사용), 입력된 차트 질문과 주석에 가장 유사한 '오도 사례 (Misleader 예시)'를 검색합니다.
   • Few-shot 프롬프팅을 통해 생성 모델의 성능을 극대화합니다.
2. Misleader-generator Module (오도 생성 모듈):
   • 코드 기반 지시형 MLLM (Code-based Instruction-tuned MLLM) 을 사용하여 차트 JSON 주석을 수정합니다.
   • 3 단계 추론 과정:
     1. 차트 유형과 맥락에 맞는 오도 기법 (Misleader) 선택.
     2. 다른 요소를 변경하지 않고 최소한의 수정으로 기법 적용 (JSON 스니펫 생성).
     3. 적용된 기법에 기반한 그럴듯하지만 잘못된 답변 생성.
   • 생성된 오도 차트는 원본 데이터는 변하지 않지만, 시각적 디자인 (축, 스케일, 색상 등) 을 조작하여 인식을 왜곡합니다.

B. AttackViz 데이터셋

• 구성: PlotQA, ChartQA, ChartX 데이터를 기반으로 구축되었으며, 막대 차트 (수직/수평) 와 선 차트를 다룹니다.
• 특징: 각 인스턴스는 (원본 차트, 질문, 정답) 과 (변형된 차트, 질문, 오도된 답변) 쌍으로 구성됩니다.
• 오도 기법 (Misleaders): Lo et al. (2022) 의 분류 체계에서 선정된 11 가지 기법을 적용합니다 (예: 축 반전, 3D 효과, 로그 스케일 오용, 축 범위 조작, 중첩 막대 오용 등).
• 필터링: 생성된 오도 차트가 MLLM 과 인간의 정답을 바꾸도록 설계되었으며, 일관성 필터를 통해 오도 기법으로 인한 오류임을 보장합니다.

3. 주요 기여 (Key Contributions)

1. ChartAttack 프레임워크: 체계적으로 적용된 오도 기법을 통해 MLLM 이 표적화된 오해를 유도하는 차트를 자동으로 생성하는 최초의 프레임워크.
2. AttackViz 데이터셋: 원본 차트와 오도된 차트, 그리고 각각에 대한 정답/오답이 구조화된 주석으로 포함된 대규모 차트 QA 데이터셋.
3. 포괄적 평가 및 완화 전략: MLLM 과 인간 독자 모두를 대상으로 한 대규모 평가 수행 및 AttackViz 를 활용한 MLLM 미세 조정 (Fine-tuning) 을 통한 방어 가능성 입증.

4. 실험 결과 (Results)

A. MLLM 성능 저하

• 도메인 내 (In-domain): ChartAttack 은 MLLM 의 차트 QA 정확도를 평균 17.2%p 감소시켰습니다.
• 도메인 간 (Cross-domain): 다른 데이터셋 (ChartQA, ChartX) 으로 확장했을 때에도 평균 11.9%p의 정확도 저하가 발생했습니다.
• 모델별 차이: 성능이 높은 모델 (InternVL-3.5, Ovis-2.5 등) 일수록 오도된 차트에 더 취약하여 큰 정확도 하락 (20~27%p) 을 보였습니다.
• 가장 효과적인 기법: 3D 효과, 부적절한 중첩 (Stacked), 왜곡된 표현 (Misrepresentation) 이 가장 큰 성능 저하를 유발했습니다. 반면, 색상 scheme 나 이중 축 (Dual axis) 은 상대적으로 효과가 적었습니다.

B. 인간 독자 평가 (Human Study)

• 12 명의 참가자를 대상으로 한 예비 실험에서, 오도된 차트를 본 실험군의 정답률은 20.2%p 감소했습니다 (71.2% → 51.0%).
• 이는 MLLM 의 성능 저하와 유사한 수준으로, 생성된 오도 차트가 인간에게도 심각한 영향을 미친다는 것을 시사합니다.

C. 완화 전략 (Mitigation)

• 프롬프트 가드 (Prompt-based Guard): 시스템 프롬프트에 방어 지시를 추가했으나, 공격 성공률 (ASR) 을 낮추는 데는 효과가 없었습니다.
• 미세 조정 (Fine-tuning): AttackViz 데이터셋으로 Qwen2.5-VL-3B 모델을 미세 조정 (SFT) 한 결과, 오도된 차트에 대한 정확도가 8.4%p 향상되었습니다. 이는 데이터 기반 학습이 방어에 효과적일 수 있음을 보여줍니다.

5. 의의 및 결론 (Significance)

• 새로운 공격 표면 (Attack Surface) 발견: MLLM 기반 차트 생성 시스템이 악의적인 프롬프트를 통해 대규모 허위 정보를 생성하는 데 악용될 수 있음을 최초로 체계적으로 증명했습니다.
• 보안 및 견고성 필요성 강조: 단순히 데이터의 정확성 (Data-faithfulness) 만을 보장하는 것을 넘어, 시각적 디자인의 조작에 대한 견고성 (Robustness) 이 MLLM 시스템 설계 및 배포에 필수적임을 강조합니다.
• 향후 연구 방향: 생성된 오도 차트 탐지, 방어 메커니즘 개발, 그리고 인간과 AI 의 상호작용에서의 신뢰성 있는 데이터 시각화 표준 마련의 필요성을 제기합니다.

이 논문은 MLLM 이 가진 '악용 가능성 (Dual-use risk)'을 구체적인 사례 (차트 생성) 를 통해 보여주며, AI 안전성과 데이터 시각화의 윤리적 측면에 대한 중요한 경고를 담고 있습니다.