🤖 AI

Evaluating Agentic Learning Harness Capabilities Without Labels via the Scaling Hypothesis

본 논문은 사이버 보안 분야의 에이전트 기반 지속 학습 하네스(agentic continual learning harnesses)를 위한 레이블 미사용 평가 프레임워크를 제안하고 검증하며, 레이블이 지정된 벤치마크를 사용할 수 없는 상황에서 희소한 교정(sparse corrections)을 통해 학생 모델이 더 강력한 교사 모델로 수렴하는 정도를 측정하는 것이 실제 성능 향상의 신뢰할 수 있는 대리 지표 역할을 한다는 점을 입증한다.

원저자: Aryan Luthra, Kshitij Jain, Siddharth Arya, Bobby Filar, Anna Bertiger

게시일 2026-08-17

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Aryan Luthra, Kshitij Jain, Siddharth Arya, Bobby Filar, Anna Bertiger

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 나쁜 이메일을 식별하는 법을 가르치려 한다고 상상해 보세요. 인공지능의 세계에는 인간처럼 읽고 쓸 수 있는 매우 똑똑한 "대규모 언어 모델(LLM)"들이 있습니다. 하지만 이들을 보안 분야에서 진정으로 유용하게 만들려면, 진행 과정에서 실수를 통해 배우는 과정인 "지속적 학습(Continual Learning)"이 필요합니다. 보통 로봇이 잘 배우고 있는지 확인하기 위해, 우리는 정답지(레이블이 있는 데이터)가 있는 테스트를 제공합니다. 하지만 사이버 보안의 실제 세계에서는 악당들이 매일 새로운 수법을 사용하기 때문에, 완벽한 정답지를 갖기가 매우 어렵습니다. 우리는 로봇이 아주 크고 명백한 실수를 저질렀을 때만 피드백을 받을 수 있습니다. 이는 보안 팀을 곤경에 빠뜨립니다. 즉, 로봇은 배워야 하는데, 자신들이 사용하는 새로운 학습 도구가 실제로 효과가 있는지 아니면 상황을 더 악화시키고 있는지 확인할 방법이 없는 것입니다. 그들은 정답지 없이도 진전도를 측정할 방법이 필요합니다.

이 논문은 바로 그 문제를 다룹니다. 저자들은 "교사-학생(Teacher-Student)" 설정을 이용한 영리한 우회 방법을 제안합니다. 인간이 로봇을 채점하기를 기다리는 대신, 훨씬 더 크고 똑똑한 AI 모델을 "교사"로 사용합니다. 이 교사가 더 작은 "학생" 모델의 작업을 채점하게 하는 것입니다. 핵심 아이디어는 만약 새로운 학습 도구를 사용한 후 학생이 똑똑한 교사와 더 비슷하게 행동하기 시작한다면, 그 도구는 아마도 좋은 도구일 것이라는 점입니다. 이 논문은 이러한 "교사 상대적(Teacher-relative)" 개선이 실제 인간의 피드백이 없을 때도 잘 작동할 것이라는 신뢰할 만한 징후라고 제안합니다. 그러나 저자들은 또한 강력한 경고를 보냅니다. 동일한 크기의 다른 AI를 사용하여 작업을 판단하는 것은 나쁜 생각이라는 것입니다. 이러한 "동일한 능력치의" 심판들은 너무 편향되어 있어서, 자기와 닮은 것을 선호하며 학생이 실제로 향상되었는지 알아차리지 못합니다.

로봇 학교와 사라진 정답지

"학습 하네스(Learning Harness)"의 이야기를 자세히 들여다봅시다. 어린 견습 로봇(학생)이 메일을 분류하는 법을 배우려고 노력하고 있다고 상상해 보세요. 꽤 잘하지만 완벽하지는 않습니다. 이 로봇을 돕기 위해, 당신은 "학습 하네스"를 부착합니다. 이것은 마법 같은 두뇌 업그레이드가 아닙니다. 오히려 포스트잇이 가득 담긴 배낭과 같습니다. 로봇이 실수를 할 때마다, 인간(또는 이 경우에는 더 똑똑한 로봇)은 왜 틀렸는지와 정답이 무엇인지 설명하는 메모를 포스트잇에 적어줍니다. 그러면 로봇은 유사한 문제에 직면했을 때 이 메모들을 살펴봅니다.

문제는 실제 세계에서 인간은 매우 바쁘다는 점입니다. 그들은 로봇이 정말 심각한 실수를 저질러 위기가 발생했을 때만 이 메모를 작성합니다. 이는 로봇이 매우 적은 양의 메모를 받게 되며, 그 메모들은 무작위로 들어온다는 것을 의미합니다. 그렇다면 이 메모 배낭이 실제로 로봇의 학습에 도움이 되고 있는지 어떻게 알 수 있을까요?

보통은 정답지가 있는 테스트를 로봇에게 주면 됩니다. 하지만 사이버 보안에서는 아직 새로운 위협들이 존재하기 때문에 정답지가 존재하지 않습니다. 완벽한 테스트를 기다릴 여유가 없습니다. 당신은 학습 시스템이 작동하는지 지금 당장 알아야 합니다.

교사-학생의 기술

저자들은 아주 멋진 해결책을 찾아냈습니다. 바로 **"스케일링 가설(Scaling Hypothesis)"**입니다. 이것을 로봇 가족이라고 생각해 보세요. 당신에게는 작은 주니어 로봇(학생)과 같은 가족 출신의 거대하고 선임인 로봇(교사)이 있습니다. 선임 로봇은 더 크고 더 많은 데이터를 보았기 때문에, 거의 항상 더 똑똑합니다.

여기서 그들이 수행한 실험은 다음과 같습니다:

그들은 여러 통의 이메일을 가져와서 교사에게 분류하도록 요청했습니다. 교사는 매우 똑똑하기 때문에, 저자들은 교사의 답변을 "진실"로 간주했습니다 (비록 인간의 정답지는 없었지만 말입니다).
그들은 학생에게도 동일한 이메일들을 주었습니다.
학생이 실수를 하게 두고, 교사가 옳다고 한 것에 기반하여 몇 개의 "포스트잇"(수정 사항)을 학생에게 주었습니다.
그들은 학생이 교사의 답변과 일치하도록 얼마나 더 잘하게 되는지 관찰했습니다.

가장 큰 질문은 이것이었습니다: 교사와 일치하도록 개선되는 것이 학생이 실제로 해당 과업을 더 잘하게 된다는 것을 의미하는가?

이를 알아내기 위해 그들은 비밀 테스트를 실시했습니다. 그들은 학습 과정 중에는 숨겨두었던, 실제 인간의 정답지(골드 스탠다드)가 포함된 몇 통의 이메일을 준비했습니다. 그리고 학생의 개선도가 교사의 답변에 가까워지는 것이 실제 인간의 답변에 가까워지는 것과 일치하는지 확인했습니다.

결과: 성공적이었습니다! 논문은 강력한 연결 고리를 발견했습니다. 학생이 교사를 모방하도록 학습할 때, 실제 인간 테스트에서도 성적이 좋아졌습니다. 이는 만약 당신이 초지능적인 AI를 사용하여 학습 시스템을 평가하고, 그 시스템이 개선된다면, 그것이 실제 인간의 피드백을 통해서도 개선될 것임을 확신할 수 있다는 것을 시사합니다. 이는 마치 "내 학생이 천재 교수님처럼 생각하기 시작한다면, 비록 최종 시험지는 아직 없더라도, 그 학생이 가치 있는 것을 배우고 있다고 믿어도 좋다"라고 말하는 것과 같습니다.

"동일한 능력치" 심판의 함정

하지만 반전이 있었습니다. 저자들은 많은 사람들이 사용하는 다른 아이디어인 **"LLM-as-a-Judge(심판으로서의 LLM)"**를 테스트했습니다. 이것은 학생과 크기와 지능이 같은 로봇에게 물어보고, 학습 배낭을 가진 버전과 가지 않은 버전 중 어느 쪽이 더 나은지 결정하게 하는 방식입니다.

두 명의 10살 아이에게 누가 수학을 더 잘하는지 심판을 맡긴다고 상상해 보세요. 만약 한 아이에게 정답지가 있다면, 다른 아이가 그것을 알아챌 수 있을까요? 논문은 아니요, 알아채지 못할 것이라고 밝혔습니다.

저자들이 "동일한 능력치의" 심판을 사용했을 때, 결과는 엉망이었습니다:

편향성: 심판들은 내용의 정답 여부와 상관없이 종종 첫 번째 답변을 선택했습니다.
자기 선호: 심판들은 자신과 닮은 로봇(배낭이 없는 로봇)의 답변을 선호하고, 개선된 버전을 거부하는 경향을 보였습니다.
신뢰성: 심판이 맞았을 때조차, 그 정확도는 절반 정도(일부 모델의 경우 48%)에 불과했습니다. 이는 사실상 동전 던지기와 다를 바 없습니다.

이 논문은 이 작업에 동일한 크기의 AI를 사용하는 것을 명시적으로 금지합니다. 저자들은 자신의 수준과 같은 로봇이 개선되었을 때, 그 로봇은 이를 신뢰성 있게 인식할 수 없다고 제론합니다. 이는 정답을 모르는 사람에게 시험 채점을 맡기는 것과 같습니다. 그들은 좋은 추측과 훌륭한 답 사이의 차이를 구분할 수 없습니다.

이것이 미래에 갖는 의미

저자들은 이것이 모든 것을 영원히 해결할 마법의 탄환이라고 말하는 것은 아님을 주의 깊게 밝히고 있습니다. 그들은 이 "교사-학생" 방식이 레이블이 없을 때 학습 도구를 측정하는 유효한 방법임을 보여주었습니다. 그들은 교사와 학생 사이의 지능 격차가 클수록 테스트가 더 신뢰할 수 있게 된다는 점을 보여주었습니다. 만약 교사가 약간만 더 똑똑하다면, 테스트는 모호해집니다.

또한 그들은 이 방식이 수정 사항이 "희소(sparse)"하고 "고정밀(high-precision)"일 때, 즉 실제 세계처럼 정말 중요한 실수들만 수정될 때 가장 잘 작동한다는 점을 지적합니다.

따라서 호기심 많은 십 대를 위한 결론은 이렇습니다: 완벽한 정답지를 항상 얻을 수 없는 세상에서, 우리는 초지능적인 AI를 사용하여 우리의 학습 도구를 평가할 수 있습니다. 만약 그 도구가 학생을 초지능적인 AI처럼 행동하게 만든다면, 그것은 아마도 좋은 도구일 것입니다. 하지만 일반적인 AI에게 자신의 친구를 평가해 달라고 하지 마세요. 그들은 그저 편향될 것이고, 개선된 부분을 놓칠 것입니다. 이는 보안 팀들에게 인간이 레이블을 붙인 방대한 데이터 없이도 더 나은 자가 학습 로봇을 구축할 수 있는 새로운 길을 열어줍니다.

기술 요약: 레이블 없이 에이전트 학습 하네스 역량을 평가하기 위한 스케일링 가설 활용

1. 문제 정의

운영 사이버 보안 환경에서 "지속적 학습 하네스"(LLM을 검색 또는 메모리와 결합하여 피드백을 통해 적응하게 하는 시스템)는 급변하는 위협에 대응하기 위해 점점 더 중요해지고 있습니다. 그러나 이러한 하네스를 평가하는 것은 실제 환경에서 레이블이 지정된 벤치마크의 희소성, 노후화, 편향성으로 인해 매우 어렵습니다.

전통적인 평가 방법은 다음과 같은 이유로 이 맥락에서 실패합니다:

레이블이 지정된 벤치마크: 가용성이 낮거나, 대표성이 없거나, 너무 희소하여 하네스의 효능에 대한 명확한 신호를 제공하지 못합니다.
LLM-as-a-Judge (판사로서의 LLM): 평가 대상인 에이전트와 유사한 능력을 가진 모델이 판사 역할을 할 때 실패합니다. 판사는 자신의 베이스라인 성능을 초과하는 개선 사항을 신뢰성 있게 식별할 수 없습니다.
증류(Distillation): 인간의 피드백이 희소하고, 간헐적이며, 불규칙한 형태로 이루어질 때 표준적인 미세 조정(fine-tuning) 또는 어댑터 기반 증류는 신뢰할 수 없습니다.

결과적으로 실무자들은 "골드 스탠다드(gold standard)" 레이블 데이터셋 없이 특정 하네스가 모델의 성능을 실제로 개선하는지, 혹은 서로 다른 하네스 설계를 비교할 수 있는 엄격한 방법을 갖지 못하고 있습니다.

2. 방법론

저자들은 레이블이 지정된 벤치마크 없이 엔드 투 엔드로 학습 하네스를 평가하기 위해 **스케일링 가설(Scaling Hypothesis)**에 기반한 프레임워크를 제안합니다. 핵심 전제는 더 강력한 "교사(Teacher)" 모델이 더 약한 "학생(Student)" 모델에게 희소하지만 고정밀인 교정을 제공할 수 있으며, 학생이 교사에게 수렴하는 정도가 진정한 개선의 대리 지표(proxy)가 된다는 것입니다.

실험 설계

본 연구는 각 태스크에 대해 세 가지 모델 구성을 사용합니다:

교사(Teacher): 특정 제품군(예: GPT-4.1, Gemini Pro)의 더 크고 강력한 모델로, 하네스 없이 실행됩니다.
학생(Student): 동일한 제품군의 더 작고 약한 모델(예: GPT-4.1 Nano, Gemini Flash)로, 하스 없이 실행됩니다.
학생(Student with Harness):* 특정 지속적 학습 하네스가 장착된 동일한 학생 모델입니다.

절차:

의사 레이블링(Pseudo-Labeling): 교사 모델이 대규모의 레이블 없는 샘플에 대해 예측을 생성하여 이를 "의사 레이블(pseudo-labels)"로 취급합니다.
희소 교정(Sparse Corrections): 데이터셋은 여러 라운드로 나뉩니다. 각 라운드에서 학생* 모델은 예측을 수행합니다. "고영향(high-impact)" 오분류(학생*이 교사와 불일치하는 경우)의 작은 무작위 샘플(최대 5개)이 교정값으로 피드백됩니다. 이는 보안 운영에서 인간 분석가의 희소하고 고정밀한 피드백 루프를 모사합니다.
평가: 여러 라운드를 거친 후, 원본 학생 모델과 학생* 모델의 성능을 별도의 테스트 세트에서 두 가지 지표로 측정합니다:
- $\Delta_G$ : 골드 레이블(Gold Labels) 대비 개선도 (최종 검증용으로만 사용).
- $\Delta_T$ : 교사 의사 레이블(Teacher Pseudo-Labels) 대비 개선도.

이 프레임워크는 $\Delta_T$ 가 $\Delta_G$ 와 상관관계가 있는지 테스트합니다. 만약 하네스가 학생의 교사와의 정렬(alignment)을 개선한다면, 이는 학생의 실제 정답(ground truth)과의 정렬을 개선한다는 것으로 간주됩니다.

하네스 구성

본 연구는 세 가지 독특한 하네스 설계를 평가합니다:

메모리(Memory): 과거의 오류를 기록(입력 발췌문, 잘못된 예측, 교정 레이블)으로서 검색합니다. 이는 MemPrompt나 Reflexion과 유사합니다.
퓨샷(Few-shot): 오류를 보여주지 않고, 교정된 사례(입력 $\to$ 정답 레이블)를 예시로서 검색하여 일반화를 도모합니다.
레슨(Lesson): 학생 모델의 별도 인스턴스가 오류를 성찰하여 짧고 변별력 있는 "레슨"(적용 조건 등을 포함한 규칙)을 생성합니다. 이는 단어 선택이나 의도에 따라 정답이 뒤바뀌는 경계 사례를 처리하기 위해 설계되었습니다.

범위

실험은 다음을 대상으로 수행되었습니다:

태스크: PhishFuzzer (이메일 분류), CTIBench (CVE-to-CWE 귀속), ATT&CK так틱 분류.
모델: 세 가지 제품군 (Gemini, GPT, Qwen) 및 각각의 소형/대형 변체.
조건: 동일 제품군(교사/학생이 같은 제품군) 및 교차 제품군(Cross-family) 쌍을 모두 포함하되, 교사가 기본 태스크에서 학생보다 우수한 성능을 보일 것을 전제로 합니다.

3. 주요 결과

A. 교사 정렬은 실제 정답과 상관관계가 있음

주요 발견은 $\Delta_T$ (교사 대비 개선도)와 $\Delta_G$ (골드 레이블 대비 개선도) 사이에 강한 양의 상관관계가 존재한다는 것입니다.

유효성: 보안 태스크, 모델 제품군, 하네스 설계 전반에 걸쳐, 학생의 교사와의 정렬을 개선한 하네스는 골드 스탠다드와의 정렬도 개선했습니다.
역량 격차(Capability Gap): 이 상관관계는 동일 제품군 및 교차 제품군 모두에서 유효하며, 단 전제 조건은 유의미한 역량 격차가 존재해야 한다는 것입니다. 대리 지표의 유효성은 단순히 공유된 아키텍처가 아니라, 학생과 교사 사이의 격차 크기에 달려 있습니다.
스케일링 가설: 학생과 교사 간의 불일치가 발생하는 경우, 더 큰 교사 모델이 더 작은 학생 모델보다 정답을 맞히는 경우가 유의미하게 많았으며, 이는 레이블이 없는 상황에서 교사가 신뢰할 수 있는 진실의 원천이라는 가정을 입증합니다.

B. LLM-as-a-Judge의 비효효율성

본 연구는 에이전트와 유사한 강도를 가진 LLM을 판사로 사용하는 것이 유용한 신호를 생성하지 못함을 보여줍니다.

자기 선호 편향(Self-Preference Bias): 학생 수준의 판사는 하네스로부터 나온 개선된 출력이라 할지라도, 자신의 베이스라인 출력을 체계적으로 선호하는 경향을 보였습니다.
낮은 신뢰도: 동일한 강도의 판사는 실제 정답에 대한 신뢰도가 약 48%(무작위 확률에 근접)였으며, 학생과 교사를 비교할 때는 25%까지 떨어졌습니다. 이는 자신의 베이스라인 이상의 성능을 인식하지 못하는 체계적인 무능력을 나타냅니다.
위치 편향(Positional Bias): 품질을 구분할 수 없을 때, 판사들은 제시 순서에 따라 판결을 뒤집는 높은 비율을 보였습니다.

4. 의의 및 주장

본 논문은 골드 레이블이 없는 운영 환경에서 보안 운영자가 지속적 학습 하네스를 평가하고 비교할 수 있는 실질적인 해결책을 제공한다고 주장합니다.

인간 피드백의 대리 지표: 저자들은 만약 하네스가 희소한 교정을 통해 (교사인) 더 강력한 모델 대비 측정 가능한 상승을 만들어낸다면, 교정이 인간 분석가로부터 오더라도 유사한 이득을 얻을 가능성이 매우 높다고 주장합니다. 하네스는 교정의 '내용'과는 상호작용하지만 그 '출처(모델 또는 인간)'와는 상호작용하지 않으므로, 개선 메커니즘은 전이 가능합니다.
운영적 유용성: 이 프레임워크를 통해 실무자는 다음을 수행할 수 있습니다:
1. 하네스가 실제로 도움이 되는지 판단합니다.
2. 두 가지 다른 하네스 설계를 비교하여 더 우수한 것을 선택합니다.
3. 에이전트가 이미 프런티어 모델인 경우 발생하는 "LLM-as-a-judge"의 함정을 피합니다.
한계 및 완화 방책: 저자들은 이 대리 지표가 교사와 학생 사이의 충분한 역량 격차에 의존한다는 점을 인정합니다. 격차가 작거나 두 모델 모두 성능이 낮으면 상관관계가 약해집니다. 이를 위해 스케일링 가설(대형 vs 소형 모델 비교)을 사용하고, 교사가 충분히 유능한지 확인하기 위해 소수의 레이블 샘플을 점검(spot-checking)할 것을 제안합니다.

결론적으로, 본 연구는 **교사 상대 상승치(teacher-relative lift)**가 레이블이 부족한 역동적인 사이버 보안 환경에서 에이전트 학습 하네스의 가치를 평가하기 위한 유효한 레이블 프리(label-free) 지표임을 입증하며, 전통적인 벤치마킹에 대한 엄격한 대안을 제시합니다.