기술 요약: COCORELI

문제 정의

로봇공학, 제조, 도구 사용과 같은 협업 환경에서 작동하는 자율 에이전트는 종종 불완전하거나 미구현된 인간의 지시를 마주칩니다. 인간은 공유된 맥락이나 점진적인 의사소통에 의존하여 필수적인 작업 매개변수를 명시하지 않는 경우가 많습니다. 최근 접근법들은 누락된 정보의 탐지를 개선해 왔지만, 탐지만으로는 불충분합니다. 에이전트는 미구현성을 인식한 후에도 실행을 진행하며, 상호작용을 통해 누락된 정보를 획득하는 대신 추론하여 처리합니다. 이는 "설득력 있지만 잘못된" 행동, 환각, 그리고 위험한 결과로 이어집니다.

저자들은 이러한 실패를 탐지와 실행 방지 간의 구조적 분리로 규정합니다. 체인 오브 씽킹 (CoT) 및 에이전트 프레임워크를 포함한 기존 패러다임들은 지시가 주어진 대로 실행 가능하다고 가정하거나, 누락된 세부 사항을 배경 지식에서 추론할 수 있다고 전제합니다. 모델의 규모를 늘린다고 해서 이 문제가 해결되지는 않습니다. 더 큰 모델들은 불확실성을 신뢰성 있게 탐지하고 해결하기보다는 더 설득력 있는 추측을 생성하는 경향이 있습니다. 이 논문은 신뢰할 수 있는 협업 실행을 위해서는 누락된 정보가 행동에 대한 강력한 전제 조건으로 작용하도록 아키텍처가 강제해야 한다고 주장합니다.

방법론: COCORELI 아키텍처

이를 해결하기 위해 저자들은 실행 전제 조건을 강제하도록 설계된 모듈형 에이전트 아키텍처인 COCORELI(Cooperative, Reconstitution & Execution of Language Instructions, 언어 지시의 협력, 재구성 및 실행) 를 제안합니다. COCORELI 는 단일 모놀리식 프롬프팅과 달리, 동일한 기반 LLM(LLaMA-3.1 8B) 을 사용하되 전문화된 프롬프트와 구조화된 입력을 활용하여 작업을 여섯 가지 전문화된 구성 요소로 분해합니다:

1. 지시 파서 (Instruction Parser): 객체 유형을 식별하고 예비 속성을 추출하여 프롬프트 과부하를 방지하기 위해 관련 스키마를 필터링합니다.
2. 빌더 (Builder): 객체별 속성 (예: 방향, 부품 구성) 을 해결합니다.
3. 로케이터 (Locator): 공간적 설명을 해석하고 관계 표현을 후보 좌표로 매핑하며, 객체별 배치 규칙을 적용합니다.
4. 담화 모듈 (Discourse Module): 필수 필드가 해결되지 않았을 때 표적화된 명확화 질문 (CQs) 을 생성합니다.
5. 외부 메모리 (External Memory): 이전에 구축된 구조를 관계 그래프 (노드 = 부품, 엣지 = 공간적 관계) 로 저장합니다. 이는 구조적 패턴을 인스턴스별 매개변수 (예: 색상, 절대 위치) 와 분리함으로써 추상화를 지원합니다.
6. 실행기 (Executor): 완성된 표현을 구체적인 JSON 행동으로 변환하고 환경 제약 조건에 대해 유효성을 검사합니다.

핵심 메커니즘:
시스템은 객체와 행동을 필드가 null 로 초기화된 타입 지정 JSON 구조로 표현합니다. 대화 진행에 따라 필드는 추출된 정보로 채워집니다. 결정적으로, 필수 필드가 해결되지 않은 경우 실행이 차단됩니다. 시스템은 누락된 값을 추론하지 대신, 담화 모듈을 통해 명확화를 요청합니다. 이는 구조적 결합을 생성합니다: 누락된 매개변수를 탐지하는 것이 동시에 실행을 차단하여 환각된 행동을 방지합니다.

실험 설정

저자들은 미구현성, 순차적 상태 변화, 구조적 재사용을 분리하도록 설계된 통제된 협업 건설 벤치마크인 ENVIRONMENT에서 COCORELI 를 평가합니다.

• 환경: 16×16×16 이산 3D 그리드로, 이질적인 부품 유형 (나사, 다리 등) 과 엄격한 물리적 제약 (중력, 지지 의존성) 을 포함합니다. 잘못된 배치는 되돌릴 수 없습니다.
• 작업 유형:
  1. 단일 완전 명시 지시.
  2. 지시 시퀀스.
  3. 복잡한 구조 건설 (다부품 형태).
  4. 미구현 지시: 매개변수가 생략되어 탐지와 명확화가 필요한 지시.
  5. 맥락 내 추상화 및 재사용: 원래 지시를 다시 언급하지 않고 새로운 맥락에서 이전에 구축된 구조를 재현.
• 베이스라인:
  • 단일 LLM 프롬프팅 (CoT): GPT-4.1 과 Claude-3.5 Sonnet 을 사용한 모놀리식 프롬프팅.
  • 에이전트 LLM 분해: 하위 작업을 LLM(LLaMA-3-70B) 이 추상화를 위한 Python 코드 생성을 포함해 종단 간으로 해결하는 모듈식 분해.
  • COCORELI: 명시적 작업 표현과 결정론적 실행 통제를 갖춘 구조화된 파싱.

평가에는 공간적 건설을 넘어 추상화 메커니즘의 일반화 가능성을 평가하기 위한 ToolBench API 작업에 대한 전이 테스트도 포함됩니다.

주요 결과

1. 미구현성 처리 (작업 iv)

• 탐지 및 명확화: COCORELI 와 에이전트 베이스라인은 누락된 매개변수를 100% 탐지하고 성공적으로 명확화 질문을 발행했습니다. 반면, 단일 LLM CoT 베이스라인은 종종 누락된 매개변수를 식별하지 못했습니다 (예: 단일 부품 작업에서 GPT-4.1 의 탐지율 27.2%).
• 실행 안전성: COCORELI 는 미구현 지시에 대해 부품, 색상, 위치에 대해 0% 환각을 기록했습니다. 반면, CoT 베이스라인은 종종 누락된 속성을 추론하여 높은 환각률을 보였습니다 (예: 두 부품 작업에서 GPT-4.1 의 위치 환각 100%).
• 결론: 탐지만으로는 불충분하며, 아키텍처적 강제 없이는 베이스라인이 추론된 (잘못된) 값으로 진행합니다.

2. 복잡한 구조 건설 (작업 iii)

• COCORELI 는 단계별 정확도 (78.57%) 에서 가장 높은 성과를 거두어 CoT 베이스라인 (54.67%–69.04%) 과 에이전트 베이스라인 (69.04%) 을 능가했습니다.
• COCORELI 는 추상화와 후속 참조가 필요했던 가장 복잡한 형태 ("모로코 다리") 를 부분적으로 재구성할 수 있었던 유일한 시스템이었습니다.

3. 추상화 및 재사용 (작업 v)

• COCORELI 는 62 개의 부품으로 구성된 "두개골"과 같은 복잡한 구조를 포함하여 평가된 모든 구조를 성공적으로 재구성했으며, 복잡한 형태에서 100% 정확도를 달성했습니다.
• CoT 베이스라인은 가장 복잡한 구조에서 실패했습니다 (0% 성공), 에이전트 베이스라인은 중간 크기 형태에서 실패했습니다.
• 논문은 COCORELI 의 성공을 재사용 가능한 절차를 추론하거나 처음부터 코드를 생성하도록 요구하는 대신, 관계 그래프를 추출하는 구조화된 파싱 문제로 추상화를 처리한 데 기인합니다.

4. ToolBench 전이

• 100 개의 ToolBench 워크플로우에서 COCORELI 는 **정밀도, 재현율, F1 점수 100%**를 달성하여 CoT 베이스라인 (F1 30.9%) 을 크게 능가했습니다.
• 이는 구조화된 추상화 메커니즘이 공간적 건설을 넘어 비공간적, API 기반 작업으로도 일반화됨을 보여줍니다.

의의 및 주장

이 논문은 미구현 상태 하에서의 신뢰할 수 있는 협업 실행이 단순히 모델의 능력에 의존하는 것이 아니라 아키텍처적 강제에 달려 있다고 주장합니다.

• 구조적 결합: 주요 기여는 탐지와 방지의 구조적 결합입니다. COCORELI 에서 불완전한 작업 표현은 실행될 수 없습니다. 이는 탐지와 실행이 분리된 프롬프팅 기반 패러다임에서 결여된 속성인 환각된 행동을 구조적으로 제거합니다.
• 최소 구현: 저자들은 COCORELI 를 모든 협업 대화에 대한 결정적 해결책으로 주장하지는 않지만, 프롬프팅 기반 패러다임이 불확실성 하에서 실행을 차단하는 메커니즘을 체계적으로 결여하고 있음을 증명하는 최소 구현체로 주장합니다.
• 한계: 저자들은 COCORELI 가 구조화된 스키마 (JSON) 를 통해 작업을 표현할 수 있다고 가정하며, 다중 모달 지각을 추상화하고, 협상이나 복잡한 추론을 배제한 명확화 대화의 좁은 형태만 모델링하며, 명시적인 고수준 계획 모듈이 부재함을 인정합니다.

요약하자면, 이 논문은 에이전트가 불완전한 지시를 가진 협업 환경에서 신뢰할 수 있게 작동하려면, 시스템 아키텍처가 모델의 암시적 추측이나 추론 능력에 의존하는 대신 누락된 정보가 어떤 행동이 취해지기 전에 해결되도록 명시적으로 강제해야 한다고 주장합니다.