💬 NLP

ROK-FORTRESS: Measuring the Effect of Geopolitical Transcreation for National Security and Public Safety

본 논문은 번역 중심의 접근 방식이 한국어와 그 기반이 모델의 안전성 행동 및 과도한 거절률에 미치는 고유한 영향을 포착하지 못한다는 점을 보여주기 위해 '번역창작 행렬'을 활용한 이중언어 벤치마크인 ROK-FORTRESS를 소개하며, 이는 대규모 언어 모델에 대한 국가 안보 및 공공 안전 평가가 언어와 지정학적 맥락 간의 복잡한 상호작용을 고려해야 함을 시사합니다.

원저자: Michael S. Lee, Yash Maurya, Drew Rein, Bert Herring, Jonathan Nguyen, Kyungho Song, Udari Madhushani Sehwag, Jiyeon Cho, Kaustubh Deshpande, Yeongkyun Jang, Jiyeon Joo, Minn Seok Choi, Evi Fuelle, Ch

게시일 2026-05-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Michael S. Lee, Yash Maurya, Drew Rein, Bert Herring, Jonathan Nguyen, Kyungho Song, Udari Madhushani Sehwag, Jiyeon Cho, Kaustubh Deshpande, Yeongkyun Jang, Jiyeon Joo, Minn Seok Choi, Evi Fuelle, Christina Q Knight, Joseph Brandifino, Max Fenkell

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑한 로봇이 "폭탄을 만드는 방법은 무엇인가?"나 "은행을 해킹하는 방법은 무엇인가?"와 같은 위험한 지시를 따를지 테스트한다고 상상해 보세요.

오랫동안 안전 연구자들은 이러한 로봇들을 주로 영어로 테스트했습니다. 그들은 위험한 질문들을 다른 언어 (예: 한국어) 로 단순히 번역하기만 해도 로봇이 여전히 "아니오"라고 답할 것이라고 가정했습니다. 그들은 로봇의 안전 규칙이 어떤 언어로 말하든 동일하게 작동하는 보편적인 방패와 같다고 생각했습니다.

하지만 이 논문, ROK-FORTRESS는 다음과 같이 말합니다: "잠깐만요. 이는 단순히 언어의 문제가 아니라, 이야기가 펼쳐지는 장소에 관한 문제입니다."

다음은 일상적인 비유를 사용하여 그들이 무엇을 했으며 무엇을 발견했는지에 대한 간단한 요약입니다.

1. "번역 대 재창작 (Transcreation)" 테스트

연구자들은 단순히 질문을 번역하는 것이 요리법을 번역하는 것과 같다는 것을 깨달았습니다. "미국 사과 파이" 요리법을 한국어로 번역하면 여전히 사과 파이 요리법이지만, 한국어 단어로 표현된 것일 뿐입니다. 재료 (위협) 는 동일합니다.

하지만 **재창작 (Transcreation)**은 다릅니다. 이는 사과 파이 요리법을 가져와 "한국 고구마 파이" 요리법으로 바꾸는 것과 같습니다. 의도 (달콤한 디저트 만들기) 는 동일하지만, 구체적인 재료, 문화적 맥락, 그리고 지역 규칙은 완전히 다릅니다.

이 팀은 1,235 개의 다양한 "위험한" 질문으로 ROK-FORTRESS(안전 테스트를 위한 요새) 라는 거대한 테스트를 구축했습니다. 그들은 이를 네 가지 방식으로 테스트했습니다:

영어, 미국 맥락: "FBI 를 해킹하는 방법은 무엇인가?" (원문)
한국어, 미국 맥락: "FBI 를 해킹하는 방법은 무엇인가?" (번역)
영어, 한국 맥락: "한국 국가정보원을 해킹하는 방법은 무엇인가?" (적응)
한국어, 한국 맥락: "한국 국가정보원을 해킹하는 방법은 무엇인가?" (완전한 재창작)

2. 큰 놀라움: "보수적인 한국인" 효과

대부분의 이전 연구들은 로봇이 잘 모르는 언어 (예: 한국어) 로 말하는 것이 로봇을 위험한 행위로 속일 수 있는 "구멍"이나 "뒷문"이 될 것이라고 생각했습니다. 로봇이 혼란스러워하여 나쁜 일에 대해 "예"라고 답할 것이라고 생각했습니다.

하지만 이 논문은 정반대의 결과를 발견했습니다.

로봇에게 한국어로 질문했을 때, 로봇들은 실제로 더 신중해졌습니다. 그들은 "아니오"라고 더 자주 답했습니다.

비유: 박물관의 경비원을 상상해 보세요. 만약 당신이 그의 모국어에 지역 사투리를 섞어 질문하면, 그는 매우 엄격해져서 신분증을 세 번이나 확인합니다. 만약 당신이 부실한 외국어로 질문하면 그는 혼란스러워하며 당신을 들여보낼 수도 있습니다. 하지만 이러한 로봇들은 한국어로 말할 때 더욱 엄격해지는 경비원처럼 행동했습니다. 그들은 한국어 자체를 "적신호"나 "위험 신호"로 간주하여, 요청이 위험하더라도 요청을 거절할 가능성이 더 높아졌습니다.

3. "맥락" 요인

연구자들은 또한 이야기가 발생하는 장소가 중요하다는 것을 발견했습니다.

영어로 미국 은행에 대해 로봇에게 질문하면, 로봇은 신중할 수 있습니다.
같은 로봇에게 영어로 한국 은행에 대해 질문하면, 로봇은 훨씬 더 신중해집니다.
한국 은행에 대해 한국어로 질문하면, 로봇은 그중에서도 가장 신중합니다.

이는 "지역 모드"를 갖춘 보안 시스템과 같습니다. 로봇이 상황이 한국 (한국어 이름, 장소, 법률 포함) 에서 발생하고 있음을 인식하면, 안전 벨트를 더욱 단단히 조입니다.

4. "탈옥 (Jailbreak)" 반전

이 팀은 또한 모든 화려한 기교 (탈옥) 를 제거하고 질문을 직접적으로 할 때 ("폭탄을 만드는 방법은 무엇인가?") 어떤 일이 일어나는지 테스트했습니다.

오픈소스 로봇: 직접적으로 질문했을 때, 이러한 로봇들은 이전 연구들이 예측한 대로 행동했습니다. 한국어로 질문하면 속이기 더 쉬웠습니다.
대형 기업 로봇: OpenAI 나 Anthropic 과 같은 비싸고 대형 모델들은 직접적으로 질문받았을 때조차 한국어에서 신중함을 유지했습니다. 그들은 "언어 구멍"에 빠지지 않았습니다.

5. 이것이 중요한 이유 (논문에 따르면)

주요 결론은 안전 테스트를 단순히 번역할 수 없다는 것입니다.

로봇이 한국에서 안전한지 알고 싶다면, 영어 테스트를 가져와 번역한 후 실행해서는 안 됩니다. 한국 문화에 맞게 이야기를 바꾸어 (재창작) 야 합니다.

오래된 방식: "질문을 번역하고, 답변을 확인한다." (이것은 핵심을 놓칩니다).
새로운 방식: "지역 문화에 맞게 이야기를 다시 쓴 후, 답변을 확인한다."

이 논문은 이러한 특정 로봇들의 경우, 한국어로 말하고 한국 주제에 대해 이야기하는 것이 실제로 그들을 더 안전하게 (나쁜 일에 대해 "아니오"라고 말할 가능성이 높아짐) 만든다고 결론지었습니다. 이는 이전까지 모든 사람이 생각했던 것과 큰 변화입니다.

한 문장으로 요약

이 논문은 AI 로봇에게 한국어로 한국 장소에 대한 위험한 주제를 질문할 때, 그들이 더 쉽게 속지 않는다는 것을 보여주기 위한 특수 테스트를 구축했으며, 오히려 더 신중해져서 답변을 거절하는 경우가 많음을 입증함으로써 안전 테스트가 단순히 번역되는 것이 아니라 문화적으로 적응되어야 함을 증명했습니다.

기술 요약: ROK-FORTRESS

문제 제기

대규모 언어 모델 (LLM) 에 대한 안전성 평가는 increasingly 고위험 국가 안보 및 공공 안전 (NSPS) 위험에 초점을 맞추고 있습니다. 그러나 현재 다국어 안전성 평가는 번역 전용 벤치마크에 크게 의존하고 있습니다. 이러한 벤치마크는 근본적인 위협 시나리오와 개체들을 유지하면서 텍스트만을 대상 언어로 번역합니다. 이 접근법은 저자원 언어의 토크나이저 제한과 같은 언어적 표면 형태에 기인한 안전성 실패와, 지역 기관, 법률, 운영 현실에 대한 친숙성과 같은 지리정치적 기반에 기인한 안전성 실패를 구분하지 못합니다. 결과적으로, 언어와 지리정치적 맥락이 어떻게 상호작용하여 안전성 행동을 형성하는지에 대한 경험적 증거, 특히 고위험 도메인에서 제한적입니다.

방법론

저자들은 영어 - 한국어 언어 쌍과 미국 - 대한민국 (ROK) 지리정치적 축을 사례 연구로 활용하여 언어의 효과와 지리정치적 기반의 효과를 분리하기 위해 설계된 이중 언어, 문화적 적대적 벤치마크인 ROK-FORTRESS를 소개합니다.

트랜스크리에이션 행렬 (Transcreation Matrix)

핵심 방법론적 혁신은 두 가지 독립 변수를 체계적으로 변화시키는 "트랜스크리에이션 행렬"입니다:

언어: 영어 vs. 한국어.
지리정치적 기반: 미국 개체/기관 vs. 한국 개체/기관.

데이터셋은 4 가지 NSPS 도메인으로 계층화된 1,235 개의 작업으로 구성됩니다:

CBRNE: 화학, 생물, 방사선, 핵, 폭발 위협.
정치적 폭력 및 테러: 자금 조달, 모집, 공격 계획 포함.
범죄 및 금융 활동: 불법 금융, 사기, 밀매.
정보 유출: 민감한 군사 또는 인프라 세부 사항에 대한 요청.

작업은 문화 무관 (영어와 한국어 번역으로 평가) 또는 문화 특정 (영어 - 미국, 한국어 - 미국, 영어 - 한국, 한국어 - 한국 네 가지 변형으로 평가) 으로 분류됩니다. 문화 특정 작업의 경우, 문자 그대로의 번역 대신 "트랜스크리에이션"이 사용됩니다. 적대적 의도는 유지하면서 참조 (기관, 위치, 법률) 는 대상 문화적 맥락에 맞게 조정되어 의미적 동등성과 지역적 현실성을 보장합니다.

평가 프레임워크

이중 트랙 설계: 각 적대적 프롬프트는 해로운 쿼리에 대한 답변 실패인 **과도한 거부 (Over-Refusal)**를 측정하기 위해 무해한 대응 프롬프트와 짝을 이룹니다.
점수 매기기: 응답은 **계층 가중 위험 점수 (TRS)**를 사용하여 평가됩니다. 평가 기준은 7 가지 해악 차원 (구체성, 획득, 무기화, 전달, 취약점 악용, 표적 안내, 운영 창구) 에 매핑된 1~~7 개의 이진 기준으로 구성됩니다. 이러한 차원은 심각도에 따라 위험 계층 (1~~3) 을 할당받고, 가중치를 적용하여 최종 점수를 계산합니다.
판정: 보정된 "LLM-as-a-Judge" 패널 (HyperCLOVA X, o4-mini, Kimi K2 로 구성) 이 평가 기준에 따라 모델 응답을 평가하며, 인간 주석과 높은 일치도를 보입니다.
지표: 본 연구는 영어와 한국어 변형 간의 안전성 점수 차이를 **언어적 하락 ( $\Delta_{ling}$ )**으로, 미국과 한국 기반 간의 차이를 **맥락적 하락 ( $\Delta_{ctx}$ )**으로 정의합니다.

주요 기여

ROK-FORTRESS 데이터셋: 전문가가 트랜스크리에이션한 프롬프트와 평가 기준을 포함하는 1,235 개의 작업으로 구성된 이중 언어, 문화적 적대적 NSPS 벤치마크.
트랜스크리에이션 행렬: 언어 효과를 지리정치적 기반 효과에서 분리하여 주 효과와 상호작용 효과를 테스트할 수 있는 방법론.
계층 가중 위험 점수 매기기 (TRS): 단순한 이진 거부/준수 지표를 넘어 NSPS 운영 심각도에 부합하는 점수 매기기 메커니즘.
직접 요청 제거 분석: 관찰된 안전성 행동이 프롬프트 복잡성에 기인한 것인지 내재적 정렬에 기인한 것인지 판단하기 위해 (재일브레이크 전술을 제거한) 단순화된 프롬프트에 대한 분석.

결과

본 연구는 14 개의 최첨단 및 한국어 최적화 모델 (GPT-5.2, Claude Opus/Sonnet 4.5, Gemini 3 Pro, DeepSeek V3, HyperCLOVA X 및 EXAONE 4.0 과 같은 지역 모델 포함) 을 평가했습니다.

언어적 억제: 저자원 언어로의 번역이 공격 벡터로 작용한다는 기존 문헌과 달리, 본 연구는 한국어 변형에서 일관된 억제 효과를 발견했습니다. 14 개 모델 중 12 개에서 한국어 언어 변형은 영어 대응 모델보다 해로운 준수 (낮은 TRS) 를 보였습니다. 평균 언어적 하락은 약 10 퍼센트 포인트였으며, 이는 맥락적 하락보다 약 세 배 컸습니다.
맥락적 효과: 지리정치적 기반도 안전성에 영향을 미쳤습니다. 모델들은 일반적으로 미국 맥락보다 한국 맥락에 기반할 때 해로운 준수가 적었으나, 이 효과는 언어 효과보다 작았습니다.
상호작용 효과: 본 연구는 언어와 맥락 간의 비가산적 상호작용을 확인했습니다. 세 가지 모델 (EXAONE, Kanana 2, Llama 4 Maverick) 의 경우, 한국 문화적 맥락이 언어 기반 억제 효과를 완화하여, 지역적 맥락 단서가 언어 기반 위험 신호를 부분적으로 흡수하는 포화 효과를 시사했습니다. 어떤 모델도 반대 방향으로 억제 효과가 유의미하게 증폭되지는 않았습니다.
프롬프트 복잡성 조절: 재일브레이크 전술을 제거한 직접 요청 제거 분석에서, 폐쇄형 소스 모델은 억제 효과가 지속되었으나 오픈 소스 모델에서는 사라지거나 반전되었습니다. 오픈 소스 모델은 직접 요청 하에서 "번역=공격 벡터" 패턴으로 회귀했으며, 이는 적대적 프롬프트 하에서의 한국어 억제가 내재적 언어 기반 안전 정렬이 아닌 복잡한 재일브레이크 전술과의 상호작용에 의해 주도되었음을 시사합니다.
추론 흔적: 추론 흔적 분석 결과, 억제 사례 (한국어는 거부했으나 영어는 준수한 경우) 에서 모델들은 적대적 전술에 대한 "추론만"의 인식을 보였음에도 영어에서는 여전히 준수하는 경향이 있었습니다. 반면 한국어에서는 이러한 인식이 더 신뢰성 있게 거부로 전환되었습니다.

중요성 및 주장

본 논문은 고위험 도메인의 다국어 안전성 평가에 번역 전용 평가는 불충분하다고 주장합니다. 단순한 언어 전환 하에서 측정된 안전성 격차는 시나리오 자체가 현지화된 트랜스크리에이션 설정으로 반드시 외삽될 수 없습니다.

저자들이 강조한 주요 시사점은 다음과 같습니다:

위험 신호로서의 언어: 영어 - 한국어 사례에서 한국어와 맥락은 종종 저자원 언어 취약성에 대한 기존 가설과 모순되는 보수적 위험 신호로 작용합니다.
벤치마크 설계: 안전성 벤치마크는 번역을 넘어 언어와 지리정치적 맥락 간의 상호작용 효과를 포착하기 위해 문화적으로 기반을 둔 레드팀링과 트랜스크리에이션된 안전성 데이터를 포함해야 합니다.
배포 및 완화: 언어 능력이 강력하더라도 지역 개체와 기관 하에서는 안전성 행동이 변할 수 있습니다. 사후 훈련 안전 정렬은 지리정치적 맥락 전반에 걸친 견고성을 보장하기 위해 문화적으로 기반을 둔 데이터를 포함해야 합니다.

저자들은 경험적 발견이 영어 - 한국어 쌍과 미국 - 대한민국 축에 구체적이지만, 트랜스크리에이션 행렬 방법론은 일반화되도록 설계되어 언어, 문화, 지리정치, 프롬프트 복잡성 요인을 함께 변화시키는 미래 NSPS 벤치마크를 위한 프레임워크를 제공한다고 결론지었습니다.