🤖 AI

It's Not the Capability: Harness Sensitivity Is Non-Monotone Across LLM Agent Tiers

본 논문은 모델의 능력에 따라 최적의 해시넷 복잡도가 단조롭게 감소한다는 가설을 반박하며, 432 회 실험을 통해 해시넷의 민감도가 단조롭지 않고 모델 유형에 결정적으로 의존함을 밝혀냈는데, 즉 verbose 한 구조는 최첨단 채팅 모델을 방해하는 반면 엄격한 지침은 최첨단 추론 모델에 유익함을 보여줍니다.

원저자: Yong-eun Cho

게시일 2026-05-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yong-eun Cho

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

마치 지저분한 방(작업 공간)을 수리하기 위해 다양한 근로자들을 고용한다고 상상해 보세요. 이들에게 지시를 내리는 관리자가 있습니다 (이 관리자를 "하네스"라고 부릅니다).

AI 세계의 일반적인 믿음은 다음과 같았습니다: "근로자가 똑똑할수록, 그들이 필요로 하는 지시는 더 간결해야 한다." 즉, 천재는 간단한 메모만 필요로 하는 반면, 초보자는 엄격하고 단계별 매뉴얼이 필요합니다. 그러나 이 논문은 이러한 믿음이 틀렸다고 주장합니다.

다음은 연구자들이 발견한 내용을 간단한 비유로 정리한 것입니다:

1. 실험: AI 를 위한 테스트 주방

연구자들은 HEAT-24라는 "테스트 주방"을 마련했습니다.

방: 코드, 메모, 데이터 등 12 개의 파일이 있는 디지털 작업 공간.
일: "고장 난 코드 수정", "특정 파일 찾기", "엄격한 형식으로 보고서 작성"과 같은 24 가지 구체적인 작업.
근로자: "프런티어 (Frontier, 초고성능, 고가)"부터 "제약된 (Constrained, 소형, 저가)"까지 6 가지 다른 AI 모델을 테스트했습니다.
지시: 근로자들에게 세 가지 유형의 지시 매뉴얼을 제공했습니다.
- 경량: 간단한 두 문장 메모.
- 균형: 허용된 파일 목록이 포함된 4 단계 가이드.
- 엄격: 작업 검증 방법과 출력 형식을 엄격하게 규정한 6 단계 대방 분량의 매뉴얼.

이 실험을 432 회 수행하여 어떤 조합이 가장 효과적인지 확인했습니다.

2. 큰 놀라움: "일률적 적용" 규칙은 깨졌습니다

연구자들은 더 똑똑한 AI = 더 간단한 지시라는 매끄러운 곡선을 예상했습니다. 대신 그들은 혼란스럽고 비선형적인 결과를 발견했습니다. "최적의" 지시 스타일은 AI 가 얼마나 똑똑한지뿐만 아니라 어떤 종류의 AI를 사용하는지에 전적으로 달려 있습니다.

"과도한 사고가" (프런티어 채팅 모델)

정체: 대화형으로 설계된 매우 똑똑한 모델.
발생한 일: 엄격한 매뉴얼을 제공받았을 때, 시스템이 충돌했습니다. 성공률은 거의 30% 감소했습니다.
비유: 천재 시인에게 복잡한 세금 신고서를 작성하라고 요청한다고 상상해 보세요. 간단한 프롬프트 ("시를 써라") 를 주면 완벽하게 수행합니다. 하지만 시를 쓰는 방법에 대한 10 페이지 분량의 법적 계약을 주면, 그들은 혼란을 겪고 떠들기 시작하며 실제로 시를 쓰는 것을 잊어버립니다.
결과: 이 유형의 AI 에게는 적은 것이 더 많습니다. 간단한 지시가 가장 잘 작동합니다.

"건축가" (프런티어 추론 모델)

정체: 심층 논리와 문제 해결을 위해 설계된 초고성능 모델 ("확장된 사고" 기능이 활성화됨).
발생한 일: 엄격한 매뉴얼을 제공받았을 때, 간단한 메모를 받았을 때보다 더 잘 수행했습니다. 또한 작업을 더 빠르게 완료했습니다.
비유: 거장 건축가를 상상해 보세요. "집을 지어라"라고만 하면 100 가지 이상의 가능성을 고민하며 헤맬 수 있습니다. 하지만 정확한 치수와 체크리스트가 포함된 엄격한 설계도를 주면, 즉시 작업을 시작하고 산만함을 무시하며 집을 완벽하게 지어냅니다.
결과: 이 유형의 AI 에게는 더 많은 구조가 더 좋습니다. 엄격한 규칙을 사고를 집중시키기 위한 발판으로 활용합니다.

"작지만 강력한" (제약된 모델)

정체: 놀랍도록 잘 훈련된 소형 모델 (파라미터 20 억 개).
발생한 일: 모든 유형의 지시에서 거대하고 비싼 모델들과 동등한 성능을 발휘했습니다.
비유: 이는 작은 두뇌를 가졌지만, 명령을 따르는 방법에 대해 매우 잘 훈련되어 박사 학위 교수만큼 일을 잘해내는 작지만 매우 규율 있는 견습공과 같습니다.
결과: 모델의 "하네스 필요성"을 단순히 크기 (파라미터 수) 로 판단할 수 없습니다. 훈련의 질이 더 중요합니다.

"잃어버린 초보자" (저성능 모델)

정체: 훈련이 덜 된 소형 모델.
발생한 일: 모든 작업에서 어려움을 겪었습니다. 간단한 메모는 잘못된 파일을 선택하게 만들었고, 엄격한 지시는 그들을 압도했습니다.
결과: 그들은 "골리디락스" 방식이 필요합니다. 혼란을 주지 않으면서도 그들을 안내할 만큼 충분한 구조가 필요합니다.

3. 두 가지 주요 실수

연구자들은 AI 가 실패한 원인을 다음과 같이 분류했습니다:

"수다쟁이" 오류 (형식 위반): 똑똑한 모델들은 작업을 이해했지만 말을 멈추지 못했습니다. 필요한 데이터 (예: JSON 파일) 를 제공하는 대신, 왜 그렇게 했는지 설명하는 긴 이야기를 썼습니다. 이는 주로 지시가 너무 복잡할 때 발생했습니다.
"잘못된 문" 오류 (잘못된 파일): 소형 모델들은 종종 어떤 파일을 건드려야 할지 몰랐습니다. "허용된 파일" 목록이 명확하지 않으면 잘못된 문서를 편집했습니다.

4. 결론: 추측하지 말고 매칭하세요

이 논문은 AI 를 프롬프트하는 단일한 "최고의" 방법은 없다고 결론 내립니다.

채팅 AI를 사용한다면, 지시를 간단하고 명료하게 유지하세요. 과도하게 설명하지 마세요.
추론 AI를 사용한다면, 엄격하고 상세한 규칙을 제공하세요. 구조 속에서 잘 작동합니다.
작고 잘 훈련된 AI를 사용한다면, 지시 유형과 관계없이 큰 모델만큼이나 훌륭할 수 있습니다.

간단히 말해: 당신은 유아에게 복잡한 법적 계약을 주지 않으며, 대법원 판사에게 스티커 메모를 주지 않습니다. 지시 스타일은 지능 수준이 아니라 근로자의 유형에 맞춰야 합니다.

기술 요약: 능력이 문제가 아니다: LLM 에이전트 계층 전반에 걸쳐 Harness 민감도는 단조롭지 않다

문제 제기

자율형 LLM 에이전트 배포에 있어 널리 퍼진 가정은 모델의 능력과 'Harness'(작업 범위, 연산, 출력 형식, 검증을 정의하는 시스템 수준 프롬프트) 의 최적 복잡도 사이에 단조적인 역관계가 존재한다는 것이다. 이 가설은 고능력의 모델은 구조적 안내가 상대적으로 적을수록, 저능력의 모델은 점점 더 엄격하고 구조화된 프롬프트를 받을수록 성능이 향상된다는 것을 시사한다. 결과적으로 실무자들은 다양한 모델 군집에 걸쳐 균일하고 고도로 구조화된 Harness 를 적용하는 경우가 많다.

본 논문은 이러한 단조적 역가설의 경험적 타당성에 도전한다. "능력이 높을수록 구조는 적다"는 단일 기울기가 서로 다른 모델 계층 전반에 걸쳐 성립하는지, 그리고 대화 지향형과 추론 지향형 최첨단 모델 간에 이 관계가 어떻게 다른지 질문한다.

방법론

저자들은 작업 공간 수준의 검증을 위해 설계된 결정론적 24 개 작업 합성 벤치마크인 HEAT-24를 사용하여 통제된 경험적 연구를 수행했다.

벤치마크 설계 (HEAT-24): 이 벤치마크는 12 개의 파일 (YAML, JSON, Python, Markdown, CSV 등) 로 구성된 공유 합성 작업 공간에서 작동하며, 이는 git 저장소로 초기화된다. 검증은 파일 변경 사항을 감지하기 위해 git diff를 통해 수행된다. 작업은 로컬 검사, 구조적 편집, 형식 민감, 검증 복구, 수리, 다단계 연산의 여섯 가지 유형으로 분류된다. 각 작업은 이진 검증기를 갖는다.
Harness 조건: 세 가지 수준의 구조적 복잡도가 테스트되었다:
1. Light: 형식이나 범위 제약 없이 역할과 원시 작업 지시문으로 구성된 2 줄 프롬프트.
2. Balanced: 4 단계 프로세스 템플릿 (계획, 실행, 확인, 응답) 과 허용 파일 목록을 추가함.
3. Strict: 사전 비행부터 보고서까지의 6 단계 명시적 단계, 명시적 성공 기준, 검증 사양, 파일 변경을 위한 특정 마커 (<<<WRITE:path>>>) 사용 지시를 추가함.
모델: 네 가지 능력 계층에 걸친 여섯 가지 모델이 평가되었다 (총 432 회 실행: 24 개 작업 × 3 개 Harness × 6 개 모델):
- 최첨단 독점 (Frontier-Proprietary): Gemini 2.5 Flash.
- 최첨단 추론 (Frontier-Reasoning): 확장된 사고가 활성화된 Qwen3.5-122B.
- 강력한 오픈 (Strong-Open): GPT-OSS-120B.
- 제약 (Constrained): Qwen3.5:2B, LLaMA 3.2 (3B), Gemma4:e2B (2B).
지표: 작업 성공률 (TSR) 과 검증된 작업 성공률 (VTSR). 실패는 자동 규칙 기반 분류 체계에 따라 여섯 가지 레이블 (형식 위반, 오답, 잘못된 파일, 변경 누락, 무관한 변경, 테스트 여전히 실패) 로 분류되었다.

주요 기여

HEAT-24 벤치마크: 다양한 Harness 조건 하에서 에이전트 신뢰성을 평가하기 위해 여섯 가지 작업 카테고리를 다루는 결정론적, git 검증 벤치마크.
단조성의 경험적 반증: 능력과 최적 Harness 복잡도 간의 역관계가 보편적으로 성립하지 않음을 보여주는 최초의 통제된 테스트.
비단조적 패턴의 식별: 두 가지 상반된 현상에 대한 증거: 최첨단 대화 모델의 경우 엄격한 Harness 가 성능을 저하시키는 'Harness 복잡성 역설'과, 최첨단 추론 모델의 경우 엄격한 Harness 가 성능을 향상시키는 비단조적 패턴.
파라미터 수 대 지시 미세 조정: 파라미터 수가 Harness 민감도의 신뢰할 수 있는 대리 변수가 아니며, 지시 미세 조정의 품질이 중요한 조절 변수임을 시사하는 발견.
실패 분류 체계 및 가이드라인: 여섯 가지 레이블의 실패 분류 체계와 Harness 선택을 위한 실용적이고 계층을 고려한 가이드라인.

결과

1. Harness 복잡성 역설 (최첨단 대화 모델)

Gemini 2.5 Flash의 경우 Harness 의 verbosity 가 증가함에 따라 성능이 현저히 저하되었다.

Light Harness: 95.8% VTSR.
Balanced Harness: 58.3% VTSR (-37.5%p).
Strict Harness: 66.7% VTSR (-29.2%p).
분석: 복잡한 조건에서의 주된 실패 양상은 형식 위반이었다 (Balanced 에서 10/10, Strict 에서 8/8). 저자들은 정교한 다단계 지시문이 모델의 생성 분포를 설명적 산문으로 이동시켜, 필요한 JSON 스키마를 직접 출력하는 대신 추론을 서술하게 만든다고 가정한다. 이 효과는 형식 민감 작업에 국한되었으며, 구조적 파일 편집 작업은 모든 Harness 에서 100% 를 유지했다.

2. 비단조적 패턴 (최첨단 추론 모델)

Qwen3.5-122B(확장된 사고 활성화) 의 경우 관계는 비단조적이었으며 가설과 반대되었다.

Balanced Harness: 75.0% VTSR (최저).
Light Harness: 87.5% VTSR.
Strict Harness: 91.7% VTSR (최고).
지연 시간: 놀랍게도 Strict Harness 가 Light(35.4 초) 와 Balanced(38.5 초) 에 비해 가장 낮은 지연 시간 (23.3 초) 을 기록했다.
분석: Strict Harness 의 명시적 성공 기준은 모델의 사고 연쇄 (chain-of-thought) 를 위한 발판 역할을 하여 모호성을 줄였다. Balanced Harness 는 확장된 사고 과정이 해결하기보다 증폭시킨 상충되는 신호를 생성했다.

3. 강력한 오픈 및 제약 계층

강력한 오픈 (GPT-OSS-120B): Light 와 Balanced Harness 에 대해 견고함을 보였으며 (둘 다 95.8% VTSR), Strict 하에서는 소폭 감소했다 (87.5%). 완전한 역설이나 비단조적 패턴은 나타나지 않았다.
제약 계층 이질성:
- Qwen3.5:2B: 역 U 자 패턴을 보였다. Light Harness 는 잘못된 파일과 형식 위반 오류로 인해 실패했다 (0% VTSR). Balanced Harness 가 최적이었다 (58.3%), 적절한 발판을 제공했기 때문이다. Strict Harness 는 지시 과부하로 인해 성능이 붕괴되었다 (4.2%).
- LLaMA 3.2: 모든 조건에서 일관되게 낮은 성능 (<21%) 을 보였으며, 이는 잘못된 파일 오류가 지배적이었으며 기본 지시 따르기 능력의 부재를 나타냈다.
- Gemma4:e2B: 약 2B 파라미터임에도 불구하고 모든 Harness 조건에서 91.7% VTSR 을 달성하여 120B 강력 오픈 모델의 안정성과 일치했다. 이는 Harness 민감도 연구에서 파라미터 수를 능력 계층의 충분한 대리 변수로 보는 관점에 도전한다.

4. 실패 양상

유능한 모델: 복잡한 Harness 를 사용할 때 형식 위반이 지배적이었다. 이들은 작업을 이해했지만 설명적 산문을 억제하지 못했다.
제약 모델: Light Harness 하에서는 구조적 안내 부족으로 잘못된 파일 오류가, Strict Harness 하에서는 지시 과부하로 형식 위반이 지배적이었다.

중요성 및 주장

본 논문은 단조적 역가설이 경험적으로 거짓임을 결론짓는다. Harness 민감도는 단조롭지 않으며, 능력 계층뿐만 아니라 모델 유형(대화 vs 추론) 과 지시 미세 조정의 품질에 크게 의존한다.

정책적 시사점: 보편적인 Harness 정책은 효과가 없다.
- 최첨단 대화: 형식 위반을 피하기 위해 형식 민감 작업에는 Light Harness 를 선호한다.
- 최첨단 추론: 사고 연쇄를 발판으로 삼고 지연 시간을 줄이기 위해 Strict Harness 를 선호한다.
- 제약 (중간): Balanced Harness 가 최적이다.
- 제약 (고도 미세 조정): Gemma4:e2B 와 같은 모델은 파라미터 수와 관계없이 Harness 복잡성에 대해 견고하다.
이론적 전환: 이 연구는 지시 미세 조정의 품질이 원시 파라미터 수보다 Harness 민감도의 더 신뢰할 수 있는 예측 변수라고 주장한다. 향후 배포 프레임워크는 규모만을 기반으로 한 계층 분류에 의존하기보다 지시 따르기 능력을 경험적으로 평가해야 함을 시사한다.
한계점: 저자들은 연구가 조건당 단일 반복 ( $k=1$ ) 을 사용했으므로 결과가 예비적임을 지적한다. 작업 공간은 합성이며, '대화 vs 추론'의 구분은 사전 지정된 변수가 아니라 사후 해석적 프레임이었다. Qwen3.5-122B 의 결과는 실험 중 활성화된 '확장된 사고' 구성에 특화된 것이다.