기술 요약: 사고의 프레임워크 (Framework of Thoughts, FoT)

문제 정의

Chain of Thought (CoT), Tree of Thoughts (ToT), Graph of Thoughts (GoT)와 같은 현재의 LLM 프롬프팅 기법들은 추론 능력의 유의미한 향상을 입증해 왔습니다. 그러나 저자들은 기존 방식에서 세 가지 결정적인 한계를 식별했습니다:

1. 정적이고 수동적인 구조: 대부분의 기법은 수동으로 정의된 정적인 그래프 구조에 의존합니다. 사용자는 작업별 프롬프트와 분해 로직을 사전에 지정해야 합니다. 이러한 적응성 부족은 이상적인 추론 구조를 미리 알 수 없는 동적이거나 미지의 문제 유형으로의 일반화를 방해합니다.
2. 불충분한 최적화: 기존 기법들은 체계적인 하이퍼파라미터 및 프롬프트 최적화의 부재로 인해 잠재적인 정확도를 충분히 끌어내지 못하는 경우가 많습니다. 다양한 조합을 테스트하는 높은 비용 때문에 종종 최적의 구성을 찾지 못하며, 이는 성능 차이가 구조적 우월성 때문인지 아니면 운 좋게 선택된 파라미터 때문인지 불분명하게 만듭니다.
3. 비효적인 실행: 많은 기법이 LLM 프롬프트를 순차적이고 중복적으로 실행합니다. 이들은 병렬 실행이나 캐싱을 활용하지 못하여, 특히 동일한 연산이나 입력이 반복될 때 불필요한 추론 비용과 상당한 대기 시간을 초래합니다.

방법론: 사고의 프레임워크 (Framework ofs Thoughts, FoT)

이러한 한계를 해결하기 위해, 저자들은 동적인 추론 기법을 구현하고 최적화하기 위해 설계된 범용 기초 프레임워크인 **Framework of Thoughts (FoT)**를 소개합니다. FoT는 특정 프롬프팅 기법 자체가 아니라 체인(chains), 트리(trees), 그래프(graphs)를 지원하는 모듈형 인프라입니다.

핵심 아키텍처 구성 요소

• 동적 그래프 구조: FoT는 두 가지 그래프 유형을 구분합니다:
  • 실행 그래프 ($G_X$): 연산의 순서, 입출력, 그리고 실행의 전체 이력을 모델링합니다. 정적인 프레임워크와 달리, 이 그래프는 연산 결과에 따라 실행 중에 동적으로 수정되고 진화할 수 있습니다.
  • 추론 그래프 ($G_R$): 완료된 연산에 의해 생성된 사고(thoughts, 노드) 간의 논리적 의존성을 나타내는 더 단순한 표현입니다.
  • 연산 (Operations): 프레임워크의 구성 블록입니다. 연산은 입력 사고와 실행 그래프를 받아 업데이트된 사고와 잠재적으로 수정된 실행 그래프를 반환하는 함수입니다. 이를 통해 그래프 구조의 자동 도출이 가능합니다합니다.
• 안전한 병렬 실행: 동적으로 진화하는 그래프에서 경합 조건(race conditions) 없이 동시성을 구현하기 위해, FoT는 컨트롤러(Controller)와 스케줄러(Scheduler)를 채택합니다. 이는 그래프 수정에 대한 엄격한 제약을 적용합니다:
  • 연산은 자신의 조상(ancestors), 후손(descendants), 그리고 자기 자신만을 볼 수 있습니다.
  • 연산은 조상(이미 실행된 것)이나 비독점적 후손(충돌 방지를 위함)을 수정할 수 없습니다.
  • 연산은 오직 자신의 "독점적 후손(exclusive descendants)"만을 수정할 수 있으며, 이 안전한 서브그래프 내에서 연결을 추가할 수 있습니다.
• 효율적인 캐싱: FoT는 중복된 LLM 호출을 줄이기 위해 두 가지 캐싱 전략을 구현합니다:
  • 프로세스 캐시 (Process Cache): 단일 문제 인스전스 실행 내에서 결과를 일시적으로 저장합니다.
  • 지속적 캐시 (Persistent Cache): 여러 문제 인스턴스 전반에 걸쳐 결과를 저장하여, 시스템이 후속 작업에서 동일한 입력에 대한 출력을 회상할 수 있도록 합니다.
• 최적화 도구: 이 프레임워크는 하이퍼파라미터 튜닝을 위한 Optuna와 프롬프트 최적화를 위한 DSPy를 통합합니다. 이러한 도구들을 통해 개발자는 정확도, 실행 시간 또는 비용을 기준으로 최적화할 수 있으며, 캐싱은 이 최적화 과정을 계산적으로 실행 가능하게 만듭니다.

주요 기여

1. 동적 기초 프레임워크: FoT는 그래프 구조가 미리 정의되지 않고 실행 중에 자동으로 진화하는 추론 기법의 구현을 가능하게 합니다. 이는 주로 정적인 흐름을 위해 설계된 GoT나 LangGraph와 같은 프레임워크와 대조됩니다.
2. 성능 최적화 메커니즘: 병렬 실행과 지속적 캐싱을 통합함으로써, FoT는 잠재된 성능 잠재력을 실현하여 추론 비용과 실행 시간을 크게 줄입니다.
3. 체계적인 최적화 파이프라인: 내장된 하이퍼파라미터 및 프롬프트 최적화 도구의 포함은 최적의 수동 튜닝 문제를 해결하여, 기법들이 진정한 성능 상한선에 도달할 수 있게 합니다.
4. 실증적 검증: 저자들은 FoT의 보편성과 효율성 이득을 입증하기 위해 세 가지 인기 있는 기법인 Tree of Thoughts (ToT), Graph of Thoughts (GoT), ProbTree를 FoT 내에서 재구현했습니다.

실험 결과

저자들은 다섯 가지 작업(Game of 24 (Go24), Sorting, Document Merging (DM), HotpotQA, MuSiQue)에 대해 FoT를 평가했습니다.

• 효율성 이득:
  • 실행 시간: 병렬 실행과 지속적 캐싱의 결합은 작업과 기법에 따라 실행 속도를 1.9배에서 35.4배까지 가속화했습니다. 모든 작업에 대한 평균 가속도는 베이스라인 순차적 구현 대비 10.7배였습니다.
  • 비용: 캐싱은 반복되는 패턴이 있는 작업(Go24, DM, MuSiQue)에서 추론 비용을 **14%에서 46%**까지 절감했습니다.
• 최적화 영향:
  • FoT의 최적화 도구를 사용하여, 저자들은 모든 평가된 기법에 대해 비용을 줄이는 동시에 작업 점수(정확도 또는 F1)를 개선했습니다.
  • 최적화의 실행 가능성: 최적화 과정 자체는 자원 집약적입니다. 그러나 캐싱을 통해 최적화 비용을 캐싱이 없을 때의 9%~36% 수준으로 낮추었으며, 소요 시간은 8.7배에서 50.2배까지 단축했습니다. 이는 체계적인 최적화가 효율적인 캐싱과 병렬화의 지원을 받을 때만 흔히 실행 가능하다는 것을 보여줍니다.

의의 및 주장

본 논문은 FoT가 정적인 수동 엔지니어링 추론 흐름에서 적응형 동적 추론 시스템으로의 전환을 나타낸다고 주장합니다.

• 적응성: 그래프 구조의 진화를 허용함으로써, FoT는 수동 재설계 없이도 이전에 보지 못한 유형이나 매우 이질적인 문제 유형을 처리할 수 있는 추론 기법의 길을 열어줍니다.
• 최적화를 위한 전제 조건으로서의 효율성: 저자들은 "기본적인 효율적 설정(병렬화 + 캐싱)"이 단순한 점진적 개선이 아니라, 추론 기법의 체계적 최적화를 가능하게 하는 필수 전제 조건임을 강조합니다. 이러한 기능이 없다면 프롬프트와 하이퍼파라미터를 튜닝하는 데 드는 시간과 예산은 감당하기 어려운 수준이 됩니다.
• 일반화 가능성: 이 프레임워크는 Python으로 정의 가능한 모든 연산(LLM 호출, 도구 사용, 코드 실행)을 지원하도록 개방적이고 모듈식으로 설계되어, 미래의 동적이고 효율적인 추론 기법 개발을 촉진합니다.

저자들은 본 연구에서 프레임워크를 입증하기 위해 반자동 및 수동 기법을 구현했지만, FoT의 진정한 잠재력은 복잡한 현실 세계의 문제를 위해 추론 구조를 동적으로 도출하는 완전 자동화된 기법을 가능하게 하는 데 있다고 결론짓습니다.