기술 요약: 과업 조건부 AI에서의 부주의 간극 (The Inattentional Gap in Task-Conditioned AI)

문제 정의

현재의 AI 안전성 평가는 벤치마크에 명시적으로 지정된 위험($D_{specified}$)을 탐지하는 모델의 능력을 주로 측정한다. 그러나 실제 세계의 사고는 명시되지 않은($D_{unspecified}$) 안전 필수 신호로부터 발생하는 경우가 많다. 본 논문은 언어 또는 시각 모델을 좁은 과업에 조건화(conditioning)하는 것이 인간의 "부주의 맹시(inattentional blindness)"와 기능적 유사성을 생성한다고 주장한다. 이러한 상태에서 모델은 제약 없는 조건 하에서는 보고할 수 있는 능력이 있음에도 불구하고, 공존하는 안전 필수 정보를 억제하여 보고하지 않는다. **부주의 간극(Inattentional Gap)**이라 명명된 이 현상은 측정된 벤치마크 안전성과 실제 배포 시의 안전성을 분리시킨다. 즉, 시스템이 지정된 대상에 대해 완벽에 가까운 점수를 기록하면서도, 해를 끼칠 수 있는 명시되지 않은 위험에는 눈을 감고 있을 수 있다는 것이다.

방법론

본 연구는 텍스트 및 시각 모달리티, 방사선학 및 자율 주행 도메인, 그리고 여러 모델 제품군(OpenAI, Anthropic, Google)을 포함하는 6개의 실험을 통해 통제된 실험 설계를 채택한다.

핵심 실험 설계:
중심 지표는 **항목 내 보고 가능성 차이(within-item reportability gap)**이다. 특정 모델 $m$과 입력 항목 $i$에 대하여, 본 연구는 다음을 비교한다:

1. 개방 조건 ($R^{open}_{m,i}$): 모델에게 모든 임상적으로 유의미한 소견이나 위험을 보고하도록 요청함.
2. 과업 조건부 ($R^{task}_{m,i}$): 모델에게 좁은 지침(예: "갈비뼈의 수를 세시오", "결절만을 평가하시오", "앞차를 추적하시오")을 부여하여 조건화함.

부주의 간극은 $IG_{m,i} = R^{open}_{m,i} - R^{task}_{m,i}$로 정의되며, 모델이 개방 조건에서 해당 신호를 성공적으로 보고한 항목($R^{open}_{m,i} = 1$)에 대해서만 계산된다. 이 통제 방식은 **과업 유도형 누락(task-induced omission)**과 단순한 **능력 실패(capability failure)**를 구분한다.

자극 및 모델:

• 연구 1 (언ance): 100개의 절차적으로 구성된 시나리오(방사선학 64개, 운전 36개)를 집중형, 엄격형, 개방형 지침 하에서 4개의 모델(gpt-4o-mini, gpt-4o, claude-haiku-4-5, claude-sonnet-4-6)을 대상으로 테스트함.
• 연구 2 (시각): 12개의 실제 흉부 방사선 사진 위에 비해부학적 객체(별 또는 반투명 원반)를 합성하여 만든 48개의 자극을 사용함. 동일한 4개의 모델을 "개수 세기" 과업(폐쇄형) 대 개방형 묘사 조건에서 테스트함.
• 연구 3 (출력 범위): 하위 질문의 개수(0~3개)를 변화시켜, 억제가 인지 부하에 의한 것인지 아니면 출력 범위에 의한 것인지 조사함.
• 교차 벤더/플래그십 검증: 규모 및 제품군 의존성을 평가하기 위해 플래그십 모델(GPT-5, Gemini 2.5 Pro, Claude Opus 4.8)을 테스트함.
• 이중 프로세스 프로브: 추론 시의 추론 능력(GPT-5)이나 외부 "비평가(critic)" 모델이 억제된 보고를 복구할 수 있는지 조사함.

판정:
응답은 두 명의 독립적인 언어 모델 판정사(높은 판정자 간 일치도, $\kappa \approx 0.90$ 확보)에 의해 스코어링되었으며, 결정적인 신호가 보고되었는지 여부를 판단하였다. 거절 및 오류는 제외되었다.

주요 결과

1. 좁은 과업 하에서의 보편적 억제
테스트된 모든 모델과 모달리티 전반에서, 과업 조건화는 안전 필수 신호의 보고를 유의미하게 억제했다.

• 엄격한 지침: "X만을 보고하라"와 같은 "엄격한" 지침 하에서는 억제가 완전하고 보편적이었다. 방사선학 텍스트 시나리오에서, 개방 조건에서의 보고율이 약 1.00이었던 것에 비해 엄격한 지침 하에서는 보고율이 0.00으로 떨어졌다 ($p < 1.1e-19$).
• 시각 과업: "보이지 않는 고릴라"의 아날로그(갈비뼈를 세는 동안 별이 존재하는 상황)에서, OpenAI 모델들(gpt-4o, gpt-4o-mini)은 개방 조건에서는 해당 객체를 0.79–0.96 비율로 보고했으나, 개수 세기 과업 항목에서는 0.00의 비율로 보고하였다.

2. 모델 규모와의 무관성
간극은 모델 규모에 따라 줄어들지 않았다. 프런티어 모델(gpt-4o)은 작은 모델(gpt-4o-mini)만큼 강력하게 소견을 억제했다. 추론 모델인 GPT-5 또한 유효한 응답에서 완전한 억제(0.00 보고율)를 보였으며, 이는 추론 시의 추론 능력만으로는 간극을 해결할 수 없음을 나타낸다.

3. 모델 제품군 의존성
간극의 크기는 단순히 크기가 아니라 모델 제품군에 따라 유의미하게 달랐다.

• Anthropic 모델: 집중 조건에서도 부분적인 억제를 보였으며(예: Claude Opus 4.8은 과업 조건부 항목에서도 0.83–0.96의 비율로 공존하는 소견을 보고함), 적대적 억제 지침 하에서도 지속되는 "강건한 안전 보고 성향"을 나타냈다.
• OpenAI 모델: GPT-5를 포함한 모든 규모에서 강한 억제 현상을 보였다.

4. 메커니즘: 출력 범위, 부하가 아님
연구 3은 억제가 인지 부하의 단조로운 증가가 아니라 출력 범위(보고 프레임의 폭)에 의해 트리거됨을 밝혔다. 단 하나의 좁은 질문만으로도 보고율이 거의 0으로 급락했다. 질문을 추가하여 출력 길이를 늘려도 OpenAI 모델의 경우 억제된 신호가 선형적으로 회복되지 않았으나, Anthطic 모델은 출력 범위가 넓어짐에 따라 부분적인 회복을 보였다.

5. 이중 프로세스 결과

• 내부 감독: 샘플링된 추론 모델(GPT-5)은 경계 모니터 역할을 수행하지 못했으며, 좁은 지침에 종속된 "과업 포착(task-captured)" 상태(System-1 스타일)를 유지했다.
• 외부 감독: 과업 모델의 좁은 보고를 독립적인 개방형 "비평가" 모델로 라우팅했을 때, 억제된 신호를 복구하여 파이프라인 보고율을 0.00에서 1.00으로 높였다.

의의 및 주장

본 논문은 부주의 간극이 과업 범위가 지정된 AI 배포에서의 근본적인 위험임을 주장한다.

• 안전성의 탈동조화: 지정된 대상에 대한 벤치마크 정확도가 공존하는 지정되지 않은 위험에 대한 안전을 보장하지 않는다. 시스템은 평가 기준상으로는 "안전"할 수 있지만, 사고를 일으키는 위험에는 "눈이 멀어" 있을 수 있다.
• 메커니즘의 구별: 인간의 부주의 맹시가 흔히 용량 제한적인 주의력 병목 현상에 기인하는 것과 달리, AI의 메커니즘은 **보고 조건화(report-conditioning)**로 식별된다. 모델은 신호를 "보지" 못하는 것이 아니라(개방 조건에서의 회복이 이를 입증함), 과업 지침이 보고 프레임을 좁힘으로써 모델이 지침의 제약을 충족하기 위해 신호를 누락하게 만드는 것이다.
• 배포 시사점: 본 논문은 안전성을 단순히 모델이 좁은 과업을 더 유능하게 수행하도록 만드는 것만으로는 확보될 수 없다고 결론짓는다. 대신, 안전은 $D_{unspecified}$를 명시적으로 측정하고 보호하는 평가 및 배포 체계를 필요로 하며, 이는 샘플링된 시스템에서 아키텍처 일반적이지 않은 것으로 나타난 내재적 모델 감독에 의존하기보다, 명시적인 이중 프로세스 스캐폴드(예: 병렬 감독)를 통해 달성될 수 있다.

저자들은 이 연구가 주의 집합 조작(attentional-set manipulation)과 항목 내 보고 통제(within-item reportability controls)를 결과적으로 결합함으로써, 단순한 능력 벤치마크를 넘어 과업 유도형 누락을 측정하는 문헌의 "빈 공간"을 채운다고 위치시킨다.