Understanding Human-AI Collaboration in Cybersecurity Competitions
이 논문은 41 명의 참가자를 대상으로 한 실전 CTF 경기를 통해 인간과 AI 의 협업 방식을 분석하고, 인간 팀의 성능 병목 현상이 모델의 추론 능력보다 프롬프트 작성 및 컨텍스트 지정의 비효율성에 있음을 발견했으며, 이를 우회하여 자율적으로 작동하는 AI 에이전트가 대부분의 인간 팀보다 우수한 성과를 거두었음을 보고합니다.
원저자:Tingxuan Tang, Nicolas Janis, Kalyn Asher Montague, Kevin Eykholt, Dhilung Kirat, Youngja Park, Jiyong Jang, Adwait Nadkarni, Yue Xiao
상상해 보세요. 수많은 참가자들이 복잡한 미로 (보안 문제) 에 갇혀 있습니다. 미로 벽에는 자물쇠가 있고, 열쇠 (해답) 를 찾아야 점수를 얻습니다. 과거에는 이 미로를 사람들만 헤매며 풀었습니다. 하지만 요즘은 AI 비서가 등장했습니다.
연구진들은 "사람이 AI 비서를 데리고 미로를 찾으면 어떻게 될까? AI 가 혼자 미로를 찾으면 어떨까?"를 궁금해하며 실제 대회에 참여해 실험을 했습니다.
🔍 실험 결과 1: 인간의 생각과 현실의 차이 (RQ1)
"AI 는 내가 생각한 것보다 덜 똑똑했다?"
초기 생각: 대회开始前, 참가자들은 "AI 가 미로 전체를 금방 찾아주겠지!"라고 기대했습니다.
현실: 막상 AI 를 써보니, AI 는 엉뚱한 길을 가거나, 없는 문을 상상해내기도 (환각, Hallucination) 했습니다.
결과: 참가자들은 AI 에 대한 신뢰가 떨어졌습니다. 특히 보안 지식이 많은 전문가일수록 "AI 는 아직 믿을 수 없어"라고 생각했지만, 보안 지식은 적지만 AI 사용법은 잘 아는 사람들은 AI 를 잘 활용해 좋은 성적을 냈습니다.
비유: 미로에 익숙한 사람은 "이 비서는 엉뚱한 지도를 보여줘서 안 써도 돼"라고 생각하지만, 미로에 낯선 사람은 "이 비서가 알려주는 대로만 따라가면 될 것 같아"라고 생각하며 오히려 잘 활용했습니다.
🔍 실험 결과 2: 인간과 AI 의 협업 방식 (RQ2)
"함께 일하는 게 아니라, 일을 모두 떠넘겼다?"
연구진은 참가자들이 AI 와 어떻게 대화하는지 기록했습니다. 놀라운 점은 다음과 같습니다.
일임 (Delegation) 의 함정: 사람들은 "함께 고민하자"고 생각했지만, 실제로는 **"이 미로 전체를 네가 다 풀어줘!"**라고 AI 에게 모든 일을 떠넘겼습니다.
전문가의 비법: 성적이 좋은 사람들은 AI 에게 "이 문은 왜 안 열리지? 이 열쇠는 어때?"라고 구체적인 질문을 던졌습니다. 반면, 초보자들은 "열려!"라고만 외치며 AI 가 틀린 답을 내놓으면 다시 "열려!"라고 외치는 **'슬롯머신 효과'**를 보였습니다. (일단 해보고 틀리면 다시 해보는 식)
학습의 도구: AI 를 단순히 답을 구하는 기계로 쓰지 않고, "이게 무슨 뜻이지? 왜 이런 걸까?"라고 배우는 도구로 쓴 초보자들은, 혼자서라면 절대 풀 수 없던 미로를 성공적으로 빠져나왔습니다.
🔍 실험 결과 3: AI 가 인간보다 잘할까? (RQ3)
"AI 가 미로 전체를 혼자 달렸다?"
연구진은 AI 만이 참여하는 대회도 열었습니다. 결과는 충격적이었습니다.
AI 의 승리: 가장 강력한 AI 팀은 인간 팀 상위권과 거의 같은 점수를 얻었습니다. 그런데 놀라운 건, 인간이 24 시간 걸린 일을 AI 는 5 시간도 걸리지 않아 해결했다는 점입니다. (인간 시간의 약 1/5)
AI 가 잘하는 것: AI 는 반복적이고 지루한 작업 (예: 암호 해독, 파일 분석) 을 인간보다 훨씬 빠르고 정확하게 처리했습니다.
AI 가 못하는 것: 하지만 미로 벽을 직접 만지거나, 복잡한 상황을 유연하게 대처해야 하는 작업 (예: 웹 해킹, 역공학) 에서는 AI 가 자주 막혔습니다. AI 는 "이건 내가 못 해"라고 포기하거나, 같은 실수를 반복했습니다.
💡 핵심 교훈: "짝꿍 해킹 (Pair Hacking)"의 탄생
이 실험을 통해 얻은 가장 중요한 결론은 "완전한 AI 자동화"도, "완전한 인간 혼자"도 최선이 아니라는 것입니다.
최고의 조합:AI 가 미로 전체를 빠르게 훑어보고 (탐색), 인간이 중요한 갈림길에서 방향을 잡아주는 (지휘) 방식입니다.
비유: AI 는 마라톤을 달리는 말처럼 지치지 않고 빠르게 뛰게 하고, 인간은 마부처럼 "저기 저 길로 가자", "저기 멈춰"라고 지시하는 것입니다.
인간의 역할: AI 가 엉뚱한 길로 가거나 막히면, 인간이 **"아니야, 저기 가봐"**라고 가볍게 수정해 주는 것만으로도 AI 의 실력을 극대화할 수 있습니다.
📝 요약 및 시사점
교육: 학생들에게 AI 를 "답을 주는 기계"로 쓰게 하면 안 됩니다. "왜 그런 답이 나왔는지 물어보고 배우는 도구"로 가르쳐야 합니다.
대회: 앞으로의 해킹 대회는 AI 가 쉽게 풀 수 있는 문제보다는, AI 가 직접 실행하기 어렵고 인간의 유연한 판단이 필요한 문제로 변해야 할 것입니다.
미래의 보안 전문가: "보안 지식"과 "AI 사용법"을 모두 아는 사람이 가장 강합니다. AI 를 잘 다루는 법을 배워야 합니다.
한 줄 요약:
"AI 는 미로를 빠르게 달릴 수 있는 훌륭한 말이지만, 어디로 가야 할지 결정하고 길을 잃지 않게 하는 **스마트한 마부 (인간)**가 있어야만 진정한 승리자가 될 수 있다."
1. 연구 배경 및 문제 정의 (Problem)
배경: CTF 대회는 통제된 환경과 명확한 성공 기준 (Flag 획득) 을 제공하여 AI 에이전트의 보안 태스크 수행 능력을 평가하는 데 이상적인 테스트베드입니다. 기존 연구는 주로 AI 가 인간과 분리되어 개별 과제를 해결하는 능력 (자율성) 에 초점을 맞추었습니다.
문제: 보안 태스크는 맥락적 판단과 반복적 검증이 필요하여 완전한 자동화는 여전히 어렵습니다. 따라서 인간과 AI 가 협업하는 'Human-in-the-loop' 방식이 필수적입니다. 그러나 다음과 같은 지식 공백 (Knowledge Gap) 이 존재합니다.
인간 플레이어는 CTF 상황에서 AI 보조를 어떻게 인식하는가?
실제 협업 시 인간과 AI 는 어떻게 상호작용하며, 어떤 전략이 효과적인가?
AI 의 도움을 받은 인간 팀과 완전 자율적인 AI 에이전트의 성능 차이는 어떠한가?
2. 연구 방법론 (Methodology)
저자들은 3 가지 연구 질문 (RQ) 을 해결하기 위해 실시간 온사이트 CTF 대회를 개최하고 실험을 수행했습니다.
실험 환경:
대상: 41 명의 참가자 (총 95 명 중), 17 개의 새로운 CTF 문제 (역공학, 암호학, 포렌식, 웹 취약점 등).
도구 (CTFriend): 연구팀이 개발한 웹 기반 AI 어시스턴트. 참가자는 이 도구를 통해 다양한 Claude 계열 모델 (Sonnet 4.5, Opus 4.1, Haiku 3.5) 과 대화하며 문제를 해결했습니다. 모든 상호작용 (프롬프트, 응답) 이 기록되었습니다.
프로세스: 사전/사후 설문조사 (인식 및 신뢰도 변화 측정) + 24 시간 CTF 대회 + 로그 분석.
비교 실험 (RQ3): 동일한 문제 세트를 사용하여 4 가지 자율 에이전트 프레임워크 (Claude Code, NYU Agent, Cybench, Proprietary Agent) 를 3 가지 모델과 조합하여 총 12 가지 구성으로 테스트했습니다.
3. 주요 연구 결과 및 발견 (Key Findings)
RQ1: 인간의 인식 및 기대 (Perception & Expectation)
기대와 현실의 괴리: 참가자들은 대회 전 AI 에 대한 기대가 높았으나, 실제 사용 후 기대와 신뢰도가 하락했습니다 (F1).
실패 원인: AI 의 잘못된 추론, 환각 (Hallucination), 작동하지 않는 코드 생성, 그리고 윤리적 가이드라인 (Guardrail) 으로 인한 작업 거부가 주요 불만 사항이었습니다 (F2).
역할: AI 는 완전한 해결사보다는 **학습 도구 (Learning Scaffold)**로 인식되었습니다.
RQ2: 인간-AI 협업 패턴 (Collaboration Patterns)
전략의 변화: 참가자들은 초기에는 점진적인 협력을 의도했으나, 실제 대회 중에는 **전체 과제를 AI 에게 위임 (Delegation)**하는 방식으로 전략이 변경되었습니다 (F6).
전문성의 중요성:
고도 전문가: 고품질의 프롬프트 엔지니어링 (Chain-of-Thought, 구체적인 컨텍스트 제공) 을 사용하여 높은 성공률을 보였습니다.
초보자: 낮은 품질의 프롬프트를 사용하거나, AI 가 틀린 답을 내놓아도 검증 없이 실행하는 '답안 쇼핑 (Answer Shopping)' 행동을 보이며 실패했습니다 (F7, F8).
학습 효과: CTF 지식이 부족하더라도 AI 를 통해 개념을 학습하고 문제를 해결한 사례도 발견되었습니다 (F10).
병목 현상: CTF 문제 해결 실패의 주된 원인은 AI 모델의 추론 능력 부족이 아니라, 인간의 비효율적인 프롬프트 작성과 컨텍스트 부족이었습니다.
RQ3: 자율 에이전트 vs 인간 팀 (Autonomous Agents vs Humans)
성능 비교: 가장 강력한 자율 에이전트 구성 (Proprietary Agent + Sonnet 4.5) 은 전체 인간 팀 중 2 위에 해당하는 점수 (4900 점) 를 기록하며, 대부분의 인간 팀을 능가했습니다 (F11).
효율성: 자율 에이전트는 인간 팀 대비 약 1/5 의 실행 시간으로 동점 이상의 성과를 냈습니다.
모델 의존성: 에이전트 프레임워크의 설계보다 기저 모델 (Base Model) 의 능력이 성능의 상한선을 결정했습니다. 강력한 모델 (Sonnet 4.5) 이 아니면 어떤 프레임워크도 낮은 성능으로 수렴했습니다 (F13).
강점과 약점의 보완:
AI 가 강한 분야: 암호학 (Crypto), 포렌식 (Forensics) 등 반복적이고 구조화된 작업.
AI 가 약한 분야: 역공학 (Reverse Engineering), 복잡한 환경 상호작용이 필요한 웹 취약점 등.
Pair Hacking (F15): AI 가 고-throughput 작업을 수행하고 인간이 전략적 개입과 검증 (Sparse Steering) 을 제공하는 '인간-AI 페어 해킹' 방식이 가장 효과적이었습니다.
4. 주요 기여 (Key Contributions)
실증적 데이터: CTF 환경에서의 인간-AI 상호작용에 대한 대규모 정성적/정량적 데이터 (2,299 개 메시지 로그) 를 최초로 수집 및 분석했습니다.
협업 통찰: 인간의 전문성 (도메인 지식 + AI 활용 능력) 이 협업 성패를 결정하며, 단순한 위임보다는 **맥락 제공 (Context Injection)**이 핵심임을 규명했습니다.
벤치마크 비교: 동일한 문제 세트를 기반으로 인간 팀과 다양한 자율 에이전트의 성능을 직접 비교하여, 현재 AI 의 한계와 가능성을 명확히 했습니다.
Pair Hacking 제안: 완전 자동화나 단순 보조가 아닌, 인간이 개입하는 자율 에이전트 워크플로우가 보안 태스크에서 가장 효과적임을 증명했습니다.
5. 의의 및 시사점 (Significance & Implications)
CTF 대회 운영자: AI 에이전트가 표준 문제를 빠르게 해결할 수 있으므로, AI 에게는 어렵지만 인간에게는 직관적인 **복잡한 환경 상호작용 (Stateful interaction)**이 필요한 과제를 설계해야 합니다.
보안 교육자: AI 를 단순한 해결사가 아닌 **학습의 발판 (Scaffold)**으로 활용하는 교육이 필요합니다. AI 에 의존하지 않고 비판적 사고를 유지하도록 가르쳐야 합니다.
실무자: "보안 지식"과 "AI 활용 능력"은 이제 상호 보완적인 핵심 역량입니다. 효과적인 프롬프트 작성과 결과 검증 능력이 필수적입니다.
AI 에이전트 개발자: 완전 자율성보다는 Human-in-the-loop 아키텍처를 설계해야 합니다. AI 는 탐색과 반복 작업을 수행하고, 인간은 전략적 개입과 오류 수정을 담당하는 방식이 최적입니다.
결론
이 연구는 보안 분야에서 AI 의 역할이 '대체'가 아닌 '협업'으로 진화하고 있음을 보여줍니다. AI 의 추론 능력은 이미 인간 팀을 능가할 수 있는 수준에 도달했으나, 인간의 맥락 이해와 전략적 개입이 없으면 AI 는 환경적 제약과 잘못된 추론에 갇히게 됩니다. 따라서 미래의 보안 시스템은 인간의 판단과 AI 의 계산 능력을 결합한 하이브리드 협업 모델을 지향해야 합니다.