Search-Based Software Engineering and AI Foundation Models: Current Landscape and Future Roadmap

본 논문은 기반 모델 (FMs) 시대의 검색 기반 소프트웨어 공학 (SBSE) 을 위한 연구 로드맵을 제시하며, 이들의 현재 지형을 분석하고 해결되지 않은 과제를 식별하며 SBSE 와 FMs 모두를 향상시키기 위한 시너지 통합의 미래 방향을 제시한다.

핵심

거대한 복잡 퍼즐을 풀려고 노력한다고 상상해 보세요. 여러분을 도와줄 두 가지 강력한 도구가 있습니다: 초지능적이고 창의적인 보조자(기반 모델 또는 AI 라고 함)와 지치지 않고 체계적인 탐험가(검색 기반 소프트웨어 공학 또는 SBSE 라고 함)입니다.

이 논문은 이 두 도구가 그 어느 때보다 더 잘 협력할 수 있는 방법을 찾아내고자 하는 연구자들이 작성한 로드맵입니다. 그들은 이렇게 묻습니다: "더 나은 소프트웨어를 구축하기 위해 AI 의 창의성과 검색 알고리즘의 정밀도를 어떻게 결합할 수 있을까요?"

여기 그들의 여정을 간단히 요약해 보았습니다:

1. 우리 이야기의 두 주인공

탐험가 (SBSE):
SBSE 를 매우 근면하고 논리적인 로봇이라고 생각해 보세요. 이 로봇의 임무는 수백만 가지 다른 조합을 시도해 보아 가장 좋은 것을 찾을 때까지 문제를 해결하는 것입니다.

• 작동 방식: 안개 낀 산맥에서 가장 높은 봉우리를 찾으려는 등산객과 같습니다. 등산객은 한 걸음을 내디디고 더 높은 곳에 있는지 확인한 뒤, 그렇다면 계속 나아갑니다. 그렇지 않다면 다른 방향을 시도합니다.
• 주의할 점: 이를 수행하려면 등산객에게 명확한 지도와 '높이'를 측정할 방법이 필요합니다. 소프트웨어에서는 문제가 측정하기 쉬워야 함을 의미합니다 (예: "이 코드가 충돌하는가?"). 문제가 모호하다면 (예: "이 코드가 읽기 쉬운가?"), 로봇은 측정하기 어렵기 때문에 혼란을 겪습니다. 또한 산이 너무 크다면 로봇은 느려질 수 있습니다.

창의적 보조자 (기반 모델/AI):
이것은 거의 모든 쓰여진 것을 읽은 초지능적인 사서라고 생각해 보세요. 이 보조자는 이야기를 쓰고, 그림을 그리고, 복잡한 지시를 이해할 수 있습니다.

• 작동 방식: 방대한 지식을 바탕으로 즉시 최선의 답을 추측합니다.
• 주의할 점: 때로는 자신감 넘치지만 틀린 답을 내놓기도 합니다 (이를 '환각'이라고 합니다). 또한 예측 불가능할 수 있습니다 (어떤 날은 훌륭한 답을 주고, 다음 날은 터무니없는 답을 주는 식입니다). 또한 실행하려면 많은 전력과 강력한 컴퓨터가 필요합니다.

2. 그들이 팀을 이루는 세 가지 방법

이 논문은 이 두 주인공이 서로를 도울 수 있는 세 가지 주요 방법을 제안합니다:

A. 보조자가 탐험가를 돕는 경우 (SBSE 를 위한 AI)

• 아이디어: 창의적 보조자가 탐험가가 퍼즐을 설정하는 것을 도울 수 있습니다.
• 비유: 탐험가가 최선의 경로를 찾으려 하지만 지도를 읽는 방법을 모른다고 상상해 보세요. 보조자가 지도를 읽고, 경로를 그리고, 심지어 탐험가를 위한 지시사항까지 작성합니다.
• 논문의 내용: AI 는 검색을 위한 '규칙'을 설계하고, 로봇이 실행해야 할 코드를 작성하며, 심지어 로봇의 발견 결과를 인간이 이해할 수 있도록 평이한 영어로 설명해 줄 수 있습니다.

B. 탐험가가 보조자를 돕는 경우 (AI 를 위한 SBSE)

• 아이디어: 탐험가가 창의적 보조자의 실수를 수정하는 것을 도울 수 있습니다.
• 비유: 보조자가 이야기를 쓰지만 줄거리 구멍이 몇 군데 있습니다. 탐험가는 엄격한 편집자처럼 행동하여 이야기의 수천 가지 변형을 테스트하여 오류가 가장 적고 흐름이 가장 좋은 버전을 찾습니다.
• 논문의 내용: 탐험가는 AI 를 더 신뢰할 수 있도록 조정하고, AI 에게 줄 최상의 '프롬프트'(지시사항) 를 찾으며, AI 가 작성한 코드가 실제로 작동하는지 테스트하는 데 도움을 줄 수 있습니다.

C. 완벽한 춤 (통합)

• 아이디어: 실시간으로 함께 작동합니다.
• 비유: 보조자가 창의적인 아이디어를 제안하면 탐험가가 즉시 그것을 테스트합니다. 탐험가가 "그건 작동하지 않을 거야"라고 말하면, 보조자는 즉시 새로운 아이디어를 시도합니다. 완벽한 해결책을 찾을 때까지 아이디어를 주고받으며 춤추는 것입니다.
• 논문의 내용: 이것이 미래입니다. 자율주행차 테스트와 버그 수정과 같은 분야에서 이미 이 둘을 혼합하기 시작했지만, 이 춤을 매끄럽게 만들기 위해 아직 많은 작업이 남아 있습니다.

3. 길 위의 장애물

연구자들은 지도상의 까다로운 지점들을 지적합니다:

• '공정한 경쟁' 문제: 무료 노트북에서 실행되는 로봇과 거대하고 비싼 슈퍼컴퓨터에서 실행되는 AI 를 어떻게 비교할 수 있을까요? 자전거와 제트기를 비교하는 것과 같습니다. 논문은 우리가 공평하게 비교할 수 있도록 새로운 규칙이 필요하다고 말합니다 (예: 소비하는 에너지 양을 계산하는 등).
• '복사 - 붙여넣기' 문제: 상업용 AI(유료 채팅봇 등) 를 사용하면, 회사가 내일 그것을 변경할 수 있습니다. 오늘 실험을 수행했다면, AI 가 변경되었기 때문에 다음 달에는 이를 반복할 수 없을지도 모릅니다. 이는 과학적 연구를 어렵게 만듭니다.
• '블랙박스' 문제: 때때로 AI 가 답을 주지만, 우리는 그 '이유'를 모릅니다. 탐험가는 답을 신뢰하기 위해 그 '이유'를 이해해야 합니다.

4. 미래 (2030 년을 향해)

이 논문은 미래가 어떻게 보일지 추측하기 위해 특별한 프레임워크 (맥루한의 테트라드) 를 사용합니다:

• 강화하는 것: 소프트웨어 공학을 훨씬 더 빠르고 쉽게 만들 것입니다. 전문가가 아닌 사람들도 AI 와 대화하기만 하면 복잡한 소프트웨어를 구축할 수 있을지도 모릅니다.
• 되찾는 것: '인간의 손길'을 되찾습니다. 복잡한 코드를 작성하는 대신, 인간은 평이한 언어로 원하는 것을 단순히 설명할 수 있습니다.
• 구식화하는 것: AI 가 자동으로 수행할 수 있기 때문에 소프트웨어 테스트를 설계하거나 버그를 수정하는 일부 오래된 수동적인 방법들은 사라질지도 모릅니다.
• 역전시키는 것: AI 에 너무 많이 의존하면, 우리는 스스로 문제를 해결하는 방법을 잊을지도 모릅니다. 우리는 도구에 의존하게 되어 자신의 기술을 잃을 수 있습니다.

5. 앞으로의 방향

이 논문은 이 팀워크가 일어날 수 있는 흥미로운 새로운 최전선들을 강조합니다:

• 자율주행차: AI 를 사용하여 복잡한 교통 상황을 이해하고, 탐험가를 사용하여 차가 안전한지 확인하기 위해 수백만 가지 '만약에' 시나리오를 테스트합니다.
• 로봇: 로봇이 인간의 제스처를 이해하고 새로운 작업을 시도할 때 물건을 부수지 않도록 돕습니다.
• 사물인터넷 (스마트 홈): 수천 개의 다양한 스마트 기기들이 충돌 없이 서로 통신하는지 테스트합니다.
• 양자 컴퓨팅: 미래의 초고속 컴퓨터를 위한 소프트웨어를 구축하는 데 이러한 기법을 활용합니다.

결론

이 논문은 AI(기반 모델) 가 현재 무대의 '스타'이고 검색 기반 공학은 '이름 없는 영웅'이지만, 진정한 마법은 이 둘이 함께 작동할 때 일어난다고 결론지었습니다. 연구자들은 향후 몇 년 간의 지도를 그려냈으며, 우리가 어디에서 문제를 찾아야 하는지, 그리고 더 좋고, 안전하며, 지능적인 소프트웨어를 구축하기 위해 이 두 가지 강력한 도구를 어떻게 결합해야 하는지 보여줍니다.

기술 요약

기술 요약: 검색 기반 소프트웨어 공학 및 AI 기반 모델

문제 진술

검색 기반 소프트웨어 공학 (SBSE) 은 약 25 년간 연구 분야로 자리 잡아 왔으며, 메타휴리스틱 검색 기법을 소프트웨어 공학 (SE) 수명 주기 전반의 문제 해결에 성공적으로 적용해 왔습니다. 그러나 기반 모델 (FMs), 특히 대규모 언어 모델 (LLMs), 비전 - 언어 모델 (VLMs), 그리고 멀티모달 모델 (MMs) 의 급속한 등장으로 SBSE 의 진화와 관련하여 정의되지 않은 지형이 조성되었습니다. FMs 은 멀티모달 데이터 처리와 추론에서 변혁적인 능력을 제공하지만, SBSE 와의 통합은 아직 충분히 탐구되지 않았습니다. 다루는 핵심 문제는 SBSE 와 FMs 가 어떻게 시너지를 낼 수 있는지를 정의하는 구조화된 로드맵의 부재, 통합 과정의 구체적인 과제 (예: 경험적 평가의 공정성과 재현성), 그리고 FMs 이 전통적인 SBSE 관행을 어떻게 교란시킬 수 있는지에 대한 가능성입니다.

방법론

본 논문은 새로운 경험적 알고리즘이나 특정 실험 연구를 제시하지 않습니다. 대신 연구 로드맵을 구축하기 위해 체계적인 문헌 검토와 개념적 분석을 활용합니다. 방법론은 다음과 같습니다:

1. 지형 분석: FMs 이 현재 SBSE 에서 어떻게 활용되고 있는지, 그리고 그 반대의 경우를 식별하기 위해 최신 연구 동향을 검토합니다.
2. 시너지의 범주화: SBSE 와 FMs 간의 상호작용을 세 가지 핵심 차원으로 구조화합니다:
   • SBSE 를 강화하기 위한 FMs 활용.
   • FMs 을 발전시키기 위한 SBSE 활용.
   • 양방향 상호작용을 위한 SBSE 와 FMs 의 통합.
3. 프레임워크 적용: SBSE 의 미래에 대한 FMs 의 파급 효과를 분석하기 위해 맥루한의 테트라드 (Tetrad) (강화, 복원, 퇴색, 역전) 를 활용합니다.
4. 비판적 평가: SBSE 기법과 상업적 FMs 을 비교할 때 자원 공정성과 재현성과 관련된 경험적 평가 관행의 격차를 식별합니다.

주요 기여

1. 삼중 연구 로드맵

본 논문은 세 가지 시너지 측면을 중심으로 구성된 포괄적인 로드맵을 제시합니다:

A. SBSE 를 위한 FMs (SBSE 강화)

• 디자인 자동화: FMs 은 적합도 함수 정의, 솔루션 인코딩, 검색 공간 정의를 자동화하여 수동 도메인 전문 지식의 필요성을 줄일 수 있습니다.
• 아티팩트 생성: FMs 은 검색 기반 테스트 데이터로부터 실행 가능한 테스트 스크립트를 생성하고 인코딩된 SBSE 솔루션을 해석할 수 있습니다 (예: 이진 인코딩을 텍스트 요구사항이나 그래픽 모델로 변환).
• 구현 및 디버깅: FMs 은 부분적이거나 완전한 SBSE 구현을 생성하고 이러한 구현의 디버깅/수정을 자동화하는 데 도움을 줄 수 있습니다.

B. FMs 을 위한 SBSE (FMs 발전)

• 한계 해결: SBSE 기법 (예: 진화 알고리즘) 은 비결정성, 환각, 불확실성과 같은 FMs 의 한계를 관리하는 데 적용될 수 있습니다. 예를 들어, 검색 알고리즘은 환각을 탐지하거나 파인튜닝을 위한 하이퍼파라미터를 최적화하기 위해 프롬프트 공간을 체계적으로 탐색할 수 있습니다.
• 아티팩트 정제: SBSE 는 FMs 이 생성한 아티팩트를 개선할 수 있습니다. 예를 들어, LLM 이 생성한 코드를 컴파일러 오류 수정을 위해 정제하거나, LLM 이 생성한 테스트 케이스를 커버리지와 다양성을 위해 최적화하며, FMs 이 생성한 모델을 검증합니다.

C. SBSE 와 FMs 의 통합 (양방향 시너지)

• 새로운 검색 연산자: FMs 은 SBSE 루프 내에서 검색 연산자 (예: 교차 및 변이) 나 적합도 함수로 작용할 수 있습니다.
• 신흥 도메인: 본 논문은 자율주행 시스템 (ADS), 로봇공학, AI 지원 시스템, 사물인터넷 (IoT), 양자 컴퓨팅과 같은 복잡하고 멀티모달인 도메인에서 SBSE 와 FMs 을 통합할 잠재력을 강조합니다.

2. 경험적 평가 과제

본 논문은 하이브리드 SBSE-FM 기법이 평가되는 방식에서 중요한 격차를 식별합니다. 공정한 비교가 어려운 이유는 다음과 같습니다:

• 자원 격차: 상업적 FMs 은 원격의 고성능 GPU 에서 실행되는 반면, SBSE 는 종종 로컬 CPU 에서 실행됩니다. 에너지 소비와 하드웨어 비용을 고려하지 않고 비교하는 것은 불공정합니다.
• 재현성: 원격 상업적 FMs 은 시간이 지남에 따라 변경됩니다 (FM-W4), 연구 재현을 불가능하게 만듭니다. 저자들은 상업적 모델이 즉각적인 결과를 더 잘 내더라도 재현 가능한 연구를 위해 로컬 오픈소스 FMs 의 사용을 옹호합니다.
• 지침 필요: 커뮤니티는 하이브리드 기법의 공정하고 자원 인식적인 비교를 위한 표준화된 지침이 부족합니다.

3. 맥루한의 테트라드를 통한 미래 전망 (2030 년)

저자들은 FMs 이 SBSE 에 미치는 영향을 예측하기 위해 맥루한의 테트라드를 적용합니다:

• 강화 (Enhances): FMs 은 SBSE 디자인 (인코딩, 적합도 함수) 의 자동화를 강화하고 멀티모달 문제 해결 (ADS, 로봇공학) 을 가능하게 합니다.
• 복원 (Retrieves): FMs 은 인간 중심의 상호작용 (자연어 인터페이스) 과 문제 해결의 창의적/탐험적 성격을 복원하여 SBSE 를 비전문가에게 더 접근 가능하게 만듭니다.
• 퇴색 (Obsolesces): 수동 디자인 관행 (예: 수동으로 작성된 적합도 함수) 과 단순 검색 알고리즘 (예: 교번 변수법) 은 FMs 이 이러한 작업을 직접 처리함에 따라 퇴색할 수 있습니다.
• 역전 (Reverses): FMs 에 대한 과도한 의존은 체계적인 솔루션 설계에서 프롬프트 엔지니어링으로 초점을 역전시켜, 새로운 SBSE 알고리즘 개발을 억압하고 SBSE 전문성 상실을 초래할 수 있습니다.

결과 및 주장

본 논문은 실험 결과 (예: "알고리즘 X 가 커버리지를 15% 향상시켰다") 를 보고하지 않습니다. 대신 그 "결과"는 연구 기회와 열린 과제의 식별입니다:

• 현재 상태: 현재 연구는 LLM 에 의해 지배되고 있으며, SBSE 에서 VLM 과 MM 의 잠재력은 largely 탐구되지 않았습니다.
• 격차 식별: SBSE 는 수십 년간 SE 문제를 성공적으로 해결해 왔지만, FMs 의 광범위한 채택에 비해 산업에서의 실제 채택은 제한적입니다. 본 논문은 SBSE 를 FMs 와 통합하면 요구사항 분석과 같은 추상적 문제를 위해 SBSE 를 더 사용 가능하고 효과적으로 만들어 이 격차를 메울 수 있다고 주장합니다.
• 중요성: 본 논문은 LLM 이 아닌 기반 모델의 더 넓은 범주와 SBSE 간의 시너지를 다루는 최초의 미래 지향적 로드맵임을 주장합니다. 이전 설문 조사와 구별되는 점은 양방향 관계와 이 새로운 맥락에서 경험적 평가의 특정 과제에 초점을 맞춘다는 것입니다.

중요성과 어조

저자들은 동기 부여적이면서도 신중한 어조를 유지합니다. FMs 이 파괴적이지만 만병통치약은 아님을 인정합니다. 본 논문은 다음과 같은 점을 강조합니다:

• SBSE 는 FMs 의 확률적이고 환각에 취약한 성격을 완화할 수 있는 엄격하고 최적화 기반의 접근 방식을 제공합니다.
• FMs 은 전통적인 SBSE 가 lacking 하는 문맥 이해와 멀티모달 능력을 제공합니다.
• 이 분야의 미래는 대체가 아닌 시너지에 있습니다.
• 이 분야가 진화함에 따라 과학적 엄밀성을 보장하기 위해 공정한 경험적 평가 기준을 수립하기 위해 상당한 노력이 필요합니다.

본 논문은 연구 커뮤니티가 고립된 실험을 넘어 SBSE 와 FMs 의 강점을 모두 활용하여 신흥 도메인의 복잡하고 현실적인 소프트웨어 공학 문제를 해결하는 통합 프레임워크를 개발하도록 촉구하며 마무리합니다.