Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining
이 논문은 정적 코드 저장소로부터 다중 에이전트 시뮬레이션과 검색 기반 최적화를 통해 계획, 추론, 디버깅과 같은 잠재적 에이전트 궤적을 역추적하여 생성된 재구성 데이터를 LLM 사전 학습에 활용함으로써, 복잡한 소프트웨어 엔지니어링 작업에 필요한 심층 추론 능력을 획기적으로 향상시킨다는 새로운 패러다임을 제시합니다.