기술 요약: LLM 에이전트에게 타이핑을 해야 하는가, 아니면 말을 해야 하는가?

문제 정의

배포된 대규모 언어 모델(LLM)과 인간의 상호작용은 주로 두 가지 채널을 통해 이루어진다: 쿼티(QWERTY) 키보드 타이핑과 음성 인터페이스를 통한 발화이다. 두 채널 모두 "깨끗한" 입력을 전달하지 못한다. 타이핑은 철자 노이즈(예: 인접 키 치환, 전치)를 유발하며, 음성은 AI 기반 받아쓰기 도구에 의한 전체적인 재작성(rewrites), 불필요한 표현(fillers), 비문(false starts), 동음이의어 치환 등을 포함하는 전사(transcription) 레이어를 거치며 모델에 도달한다. 타이핑 오타나 구어적 불연속성에 대한 강건성(robustness)은 각각 개별적으로 연구되어 왔으나, 특히 현대의 AI 기반 전사 재작성의 영향을 고려하여 두 양상 간의 체계적인 비교를 수행한 연구는 부족하다. 또한, 기존 벤치마크들은 타이핑의 운동적 오류나 받아쓰기 도구의 구조적 재작성을 반영하지 못하는 합성 노이즈에 의존하는 경면이 있다.

방법론: HIVE 엔진

이러한 격차를 해결하기 위해 저자들은 인간의 입력 채널에서 발생하는 특정 오류를 재현하도록 설계된 섭동(perturbation) 스위트인 **HIVE (Human Input-Variation Engine)**를 도입한다.

• 아키텍처: HIVE는 시드 기반 규칙 기반 변환 또는 퓨샷(few-shot) LLM 스타일 전이(Qwen2.5-7B-Instruct 사용)를 통해 구현된 17개의 연산자(operator)와 2개의 컨트롤로 구성된다.
• 음성 연산자 (11개): 전사 파이프라인을 모델링한다.
  • 레지스터(Registers): "Spoken-casual"(필러 비율이 높은 팟캐스트 스타일) 및 "Spoken-formal"(준비된 강연).
  • 재작성(Rewrites): "Spoken-succinct"(압축 및 재정렬) 및 "Spoken-clean"(구조는 유지하되 문구를 다듬음).
  • 결정론적 요인(Deterministic Factors): 필러 삽입, 숫자의 단어 변환, 기능어 제거, 대소문자/구두점 손실, 동음이의어 치환과 같은 특정 표면 속성을 분리한다.
• 키보드 연산자 (6개): 쿼티 레이아웃에서의 운동적 오류를 모델링한다.
  • 인접 키 치환, 전치, 키 반복, 연결된 키 삽입, 누락된 공백 및 무작위 교체 컨트롤을 포함한다.
  • 편집은 고정된 단어별 거리를 가진 Damerau–Levenshtein 기반으로 적용된다.
• 실험 설정:
  • 모델: 다섯 가지 지시 조정 모델(Llama-3.1-8B, Qwen2.5-7B, Mistral-7B-v0.3, Qwen3-8B, phi-4).
  • 벤치마크: 산술(GSM8K, GSM-Symbolic, GSM1k), 코드 합성(HumanEval), 다지선다 추론(MMLU-Pro, TruthfulQA)을 포함하는 6개의 데이터셋.
  • 프로토콜: 샘플링 노이즈로부터 섭동 효과를 분리하기 위해 5개의 시드를 사용하여 매칭 쌍 평가(clean vs. perturbed)를 수행하는 그리디 디코딩(Greedy decoding) 방식.

주요 결과

1. 음성 전사는 정확도를 떨어뜨리며, 필러보다 구조가 더 중요하다

음성 전사 섭동은 테스트된 모든 지시 조정 모델에서 일관되게 정확도를 낮춘다. 가장 치명적인 연산자는 "spoken-succinct"(압축 및 재정렬)이며, 이는 정확도를 약 24%포인트 감소시킨다. 결정적으로, 이 페널티는 필러의 존재보다는 구조에 의해 발생한다.

• 음성 전사본에서 필러를 제거하는 것("spoken-filler-stripped")은 정확도를 회복시키지 못한다.
• 깨끗한 텍스트에 필러를 추가하는 것("clean+fillers")은 정확도를 낮추기는 하지만, 전체적인 음성 레지스터만큼 심각하게 저하시키지는 않는다.
• 이는 페널티가 "과결정(overdetermined)"되어 있음을 시사한다: 필러는 해를 끼치기에 충분하지만 필수적인 것은 아니다. 왜냐하면 레지스터의 재구조화(예: 만연체 문장, 절의 연쇄)가 독립적으로 성능을 저해하기 때문이다.

2. 키보드 섭동은 덜 치명적이다

쿼티 키보드 오류는 음성 오류(평균 약 9.7포인트 하락)에 비해 훨씬 덜 치명적이다(평균 약 3.0포인트 하락).

• 모델은 성능이 붕괴되기 전까지 놀라울 정도로 많은 타이핑 오류를 흡수한다. 정확도는 단어의 약 12%가 오류를 포함할 때까지 평탄하게 유지되다가 그 이후 급격히 떨어진다.
• 집중도 vs. 확산(Concentration vs. Spread): 20%의 단어 내에 집중된 3개의 편집은 50%의 단어에 퍼져 있는 1개의 편집보다 두 배 더 해롭다. 이는 과도하게 편집된 단어가 문맥상 복구가 불가능해지기 때문이다.
• 쿼티 특유의 오류(인접 키 치환)는 임의의 무작위 교체보다 약간 덜 해로운데, 이는 인접 키 치환이 더 그럴듯한 대체 토큰을 생성하는 경우가 많기 때문이다.

3. 모달리티 격차는 추론 작업의 효과이다

음성과 타이핑 사이의 성능 격차는 모델이 답을 구성하거나 추론해야 하는 작업(예: 산술, 코드 생성)에서 거의 독점적으로 나타난다.

• 제공된 옵션 중에서 답을 선택하는 다지선다형 작업에서는 음성과 타이핑 사이의 격차가 미미하다.
• 생성 작업의 경우, 음성 입력은 타이핑보다 6~7%포인트 낮은 정확도를 보인다.

4. 토큰 생존율이 주요 예측 변수이다

성능 저하의 근본 원인은 원래 토큰의 파괴이다.

• 섭동 후 생존한 원래 질문 토큰의 비율과 결과 정확도 사이에는 강한 양의 상관관계($r=+0.79$)가 있다.
• 새로운 토큰을 추가하는 것(토큰 팽창)은 기존 토큰을 파괴하는 것에 비해 부정적인 영향이 미미하다.
• 원래의 토큰 시퀀스를 보존하는 연산자(필러가 추가되더라도)는 원래의 토큰화를 파괴하는 재작성이나 압축보다 훨씬 덜 해롭다.

5. 성능 저하는 단순히 테스트 세트 오염 때문이 아니다

성능 페널티는 문제를 새로운 표면 형태로 재생성하면서 추론 로직은 유지하는 디컨태미네이션(decontaminated) 데이터셋(GSM-Symbolic 및 GSM1k)에서도 지속된다. 이는 모델이 훈련 데이터에서 암기된 솔루션을 검색하는 문제가 아니라, 섭동된 입력 구조를 처리하는 데 있어 실질적인 능력이 결핍되었음을 나타낸다.

6. 경량 적응(Lightweight Adaptation)은 피해를 완화할 수 없다

자기 증류(self-distillation, LoRA 어댑터)를 통해 모델이 이러한 섭동을 흡수하도록 훈련하려는 시도는 대체로 실패했다.

• 고순위(high-rank) 적응 설정은 대화형 음성에 대한 격차를 줄일 수 있었으나, 이는 깨끗한 입력에 대한 모델의 성능을 떨어뜨려 "강건함이 기본 성능을 희생해서는 안 된다"는 제약을 위반했다.
• 저순위(low-rank) 설정은 깨끗한 정확도는 유지했으나 섭동된 입력에 대한 성능은 개선하지 못했다.
• 필러에 대한 주의(attention)를 제한하거나 은닉 상태(hidden states)를 정렬하는 항을 추가해도 격차를 좁히지 못했다. 이 피해는 현재의 모델 아키텍처와 훈련 분포에 내재된 것으로 보인다.

7. "생각하는" 예산(Thinking Budget)은 키보드는 회복시키지만 음성은 회복시키지 못한다

Qwen3-8B에서 "생각하는" 모드(Chain-of-Thought 추론)를 활성화하면 키보드 섭동에 대한 성능은 거의 완전히 회복되지만, 음성 레지스터는 사실상 전혀 변화가 없다.

• 추론은 원래 토큰이 보존된 엉망이 된 텍스트(키보드 오류)를 복구하는 데 도움이 된다.
• 그러나 입력 구조가 근본적으로 변경되거나 압축된 경우(음성 재작성)에는 성능을 회복하지 못한다. 특히, 압축된 음성 성능은 생각하는 예산이 활성화되었을 때 오히려 더 악화된다.
• 이는 추론이 토큰 수준의 노이즈는 수리할 수 있지만, 음성 재작위에 내재된 원래 토큰 시퀀스와 구조적 무결성의 상실은 보완할 수 없음을 시사한다.

의의 및 주장

본 논문은 음성이 현재 LLM과 상호작용하는 데 있어 "비싼 채널"이라고 주장하며, 이는 주로 AI 기반 받아쓰기 도구가 도입하는 구조적 재작성 때문이라고 밝힌다. 저자들은 이 피해가 단순한 노이즈의 문제가 아니라, 추론에 필요한 원래의 토큰 시퀀스와 구조적 무결성의 상실이라고 주장한다.

실질적 시사점:

• 사용자 측면: 음성 인터페이스를 사용할 때, 말하는 방식이 곧 모델이 작업할 바탕이 된다. 따라서 사용자는 횡설수설하거나 다운스트림 도구가 텍스트를 "정리"하도록 의존하는 것을 피해야 한다. 구조적 재작성보다는 최소한의 불연속성 제거가 더 바람직하다.
• 개발자 측면: 받아쓰기 프런트엔드는 사용자 입력의 재형식화(reformatting)와 재구조화를 최소화해야 한다. 측정된 가장 큰 피해는 받아쓰기 도구의 "재작성" 레이어에서 발생하며, 이는 동시에 "가장 바꾸기 쉬운 부분"이기도 하다.
• 연구 측면: 입력 섭동에 대한 강건성은 모달리티별로 다르다. 키보드 오타에 강한 모델이 반드시 음성 불연속성에 강한 것은 아니다. 또한, 경량 적응 전략은 이 격차를 메우기에 불충분하다.

본 연구는 키보드 오류는 추론 모델에 의해 흡수될 수 있지만, 음성 전사에 내재된 구조적 변형(특히 AI 기반 재작성)은 현재의 모델과 경량 적응 전략이 완전히 극복할 수 없는 근본적인 도전 과제라는 결론을 내린다.