LikeThis! Empowering App Users to Submit UI Improvement Suggestions Instead of Complaints

이 논문은 사용자가 앱의 UI 개선 사항을 불만 대신 구체적인 제안으로 제출할 수 있도록 돕기 위해, 사용자 코멘트와 스크린샷을 기반으로 개선안을 생성하는 GenAI 기반 접근법인 'LikeThis!'를 제안하고, 벤치마크 및 사용자 연구를 통해 개발자와 사용자 양측의 관점에서 피드백의 질을 향상시켰음을 입증합니다.

핵심

🍽️ 비유: "맛없는 식당"과 "요리사"

지금까지 우리가 앱 개발자에게 피드백을 보낼 때는, 맛없는 음식을 먹고 요리사에게 "이거 너무 짜요!"라고만 외치는 상황과 비슷했습니다.

• 문제점: 요리사 (개발자) 는 "어디가 짜지? 소금 양을 줄여야 할까, 다른 재료를 바꿔야 할까?"를 정확히 알기 어렵습니다. 사용자는 기술적인 용어를 몰라서 설명도 제대로 못 하고요.
• 결과: 개발자는 추측성으로 고쳐야 하거나, 아예 고치지 못해 답답해합니다.

이 논문이 제안하는 **LikeThis!**라는 도구는 사용자가 직접 "이렇게 고치면 맛있을 것 같아요"라고 새로운 레시피나 그림을 그려서 전달해 주는 시스템입니다.

---

🤖 LikeThis! 가 어떻게 작동할까요?

이 시스템은 **인공지능 (AI)**을 두 명의 훌륭한 조수처럼 활용합니다.

1. 사용자가 문제를 말하고 사진을 찍습니다.
   • 예: "전화 걸기 버튼을 누르려다 실수로 걸려서 너무 화나요." (스크린샷과 함께)
2. AI 조수 1 번 (기획자) 이 아이디어를 냅니다.
   • AI 는 "아, 버튼을 누르기 전에 확인 창이 뜨면 좋겠네요" 혹은 "슬라이드해서 걸게 하면 실수가 줄어들겠네요" 같은 구체적인 해결책 3 가지를 텍스트로 제안합니다.
3. AI 조수 2 번 (화가) 이 그림을 그립니다.
   • 이 아이디어들을 바탕으로, 원래 앱 화면을 수정한 새로운 디자인 (모작) 을 3 가지나 그려줍니다.
   • 마치 "이렇게 바꿨을 때 화면이 이렇게 보일 거예요"라고 미리 보여주는 거죠.
4. 사용자가 가장 마음에 드는 그림을 고릅니다.
   • 사용자는 "아, 이거다!" 하고 하나를 선택해서 개발자에게 보냅니다.

이제 개발자는 **"어? 사용자가 원하는 게 정확히 이거구나!"**라고 바로 이해하고 고칠 수 있게 됩니다.

---

🔬 연구팀은 무엇을 확인했나요?

연구팀은 이 방법이 정말 효과가 있는지 두 가지 실험을 했습니다.

1. AI 화가들의 실력 대결 (모델 벤치마킹)

• 여러 최신 AI 그림 도구들 (GPT-Image-1, Flux 등) 을 시험해 봤습니다.
• 결과: GPT-Image-1이라는 AI 가 가장 훌륭했습니다. 원래 디자인의 느낌은 살리면서, 문제만 정확하게 고쳐주는 능력이 가장 뛰어났습니다.
• 중요한 발견: 단순히 "고쳐줘"라고만 하면 AI 가 엉뚱한 곳까지 고쳐버릴 때가 많았는데, **"어떤 부분을 고칠지 먼저 아이디어를 구체화하는 단계 (기획 단계)"**를 거치니 결과가 훨씬 좋아졌습니다. 마치 요리사가 레시피를 먼저 구상하고 요리를 하듯 말이죠.

2. 실제 사람들과 개발자들의 반응 (사용자 & 개발자 연구)

• 사용자 (15 명): "내가 말로 설명하기 어려웠던 부분을 AI 가 그림으로 정확히 표현해줘서 너무 좋았다"라고 했습니다. 특히 기술 용어를 모르는 일반인들에게 큰 도움이 되었습니다.
• 개발자 (5 명): "사용자가 보내온 피드백이 이제 훨씬 명확하고, 바로 실행할 수 있는 아이디어가 있어서 좋다"고 평가했습니다.
  • 다만, 개발자들은 "AI 가 그린 그림이 너무 이상할 수도 있으니, 우리가 다시 한번 검토해서 실제 앱에 적용할지 결정해야 한다"고 조심스러운 의견도 냈습니다.

---

💡 이 연구가 주는 메시지는?

이 논문은 **"사용자와 개발자 사이의 오해를 AI 가 그림으로 bridging (다리) 해준다"**는 것을 보여줍니다.

• 과거: "이거 고쳐줘!" (모호함, 개발자 추측 필요)
• 현재 (LikeThis!): "이렇게 고치면 어떨까요? (그림)" (구체적, 개발자 즉시 이해)

물론 아직 AI 가 그리는 그림이 100% 완벽하거나, 기다리는 시간이 조금 길다는 단점이 있지만, 앱을 더 잘 만들고 사용자 경험을 개선하는 데 AI 가 얼마나 강력한 파트너가 될 수 있는지를 증명했습니다.

앞으로는 우리가 앱에서 실수할 때, AI 가 바로 "이렇게 고치면 어떨까요?"라고 제안해 주는 세상이 올지도 모릅니다! 🚀

기술 요약

1. 문제 정의 (Problem Statement)

모바일 앱 시장에서 사용자 피드백은 앱의 진화와 성공에 필수적입니다. 그러나 현재 앱 스토어의 텍스트 기반 리뷰와 평점 시스템에는 다음과 같은 한계가 존재합니다:

• 비구조적이고 모호한 피드백: 사용자는 개발자가 이해하기 어려운 추상적인 불만 ("이게 너무 불편해") 만 남기거나, 언어 장벽이나 전문 용어 부족으로 구체적인 문제점을 설명하지 못합니다.
• 구현 불가능한 피드백: 텍스트만으로는 레이아웃 변경이나 버튼 위치 조정과 같은 구체적인 UI 수정 아이디어를 명확히 전달하기 어렵습니다.
• 기존 도구의 접근성 부족: Figma 나 Sketch 와 같은 전문 디자인 도구는 일반 사용자에게 진입 장벽이 높습니다.
• 기존 AI 연구의 한계: 최근 생성형 AI (GenAI) 는 텍스트에서 새로운 UI 를 생성하는 연구는 진행되었으나, 기존 UI 를 수정하거나 구체적인 개선안을 제안하는 방식은 연구되지 않았습니다.

2. 제안 방법론: LikeThis! (Methodology)

저자들은 사용자의 불만을 구체적인 개선 제안으로 변환하는 GenAI 기반 접근법인 LikeThis! 를 제안합니다. 이 시스템은 멀티모달 대규모 언어 모델 (MLLM) 과 이미지 생성 모델을 활용하여 다음과 같은 워크플로우를 수행합니다.

핵심 워크플로우

1. 입력: 사용자가 앱 화면의 스크린샷과 문제점에 대한 간단한 텍스트 코멘트 (선택적으로 문제 영역을 마스킹) 를 제출합니다.
2. 단계 1: 제안 생성 (Suggestion Generation):
   • MLLM (예: GPT-4o) 이 사용자 피드백과 스크린샷을 분석합니다.
   • UI 문제를 해결하기 위한 n 개의 텍스트 기반 솔루션 명세 (Solution Specifications) 를 생성합니다. (예: "폰트 크기 증가", "대조도 조정" 등)
   • 이 단계는 AI 가 직접 이미지를 수정하기 전에 구체적인 수정 방향을 정의하는 중간 단계입니다.
3. 단계 2: UI 편집 (UI Editing):
   • 이미지 생성 모델 (예: GPT-Image-1) 이 단계 1 에서 생성된 명세와 원본 스크린샷을 입력받아 n 개의 개선된 UI 이미지를 생성합니다.
   • 생성된 이미지는 원본 UI 의 다른 요소는 유지하면서 문제 영역만 수정된 형태입니다.
4. 사용자 선택 및 제출: 사용자는 생성된 여러 대안 중 자신의 의도와 가장 부합하는 것을 선택하여 개발자에게 제출합니다.

기술적 구현

• 프로토타입: iOS 앱으로 구현되었으며, SwiftUI 와 Swift Package 로 제작되어 개발자가 쉽게 통합할 수 있습니다.
• 모델: 제안 생성에는 GPT-4o, UI 편집에는 성능이 우수한 GPT-Image-1 을 사용합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임: 사용자의 "불만 (Complaint)"을 "구체적인 개선 제안 (Improvement Suggestion)"으로 변환하는 최초의 GenAI 기반 접근법을 제시했습니다.
2. 2 단계 워크플로우의 유효성 증명: 단순히 이미지 생성 모델에 지시하는 것이 아니라, 중간에 텍스트 기반 솔루션 명세 (Suggestion Generation) 를 거치는 것이 최종 결과물의 품질을 획기적으로 높인다는 것을 실험을 통해 입증했습니다.
3. 모델 벤치마킹: UI 수정 작업에 적합한 최신 이미지 생성 모델 (GPT-Image-1, Flux, Gemini, Bagel) 을 비교 평가하여 GPT-Image-1 의 우수성을 입증했습니다.
4. 실제 사용자 및 개발자 연구: 10 개의 실제 프로덕션 앱과 15 명의 사용자, 5 명의 개발자를 대상으로 한 연구를 통해 접근법의 실용성과 효과를 검증했습니다.

4. 연구 결과 (Results)

RQ1: 모델 성능 평가 (벤치마킹 연구)

• 모델 비교: 300 개의 UI 스크린샷과 비판 데이터를 사용하여 4 가지 모델을 평가했습니다.
  • GPT-Image-1이 사용자 선호도, 문제 해결률, 원본 충실도 (Fidelity), 새로운 문제 발생 방지 (Robustness) 모든 지표에서 다른 모델 (Flux, Gemini, Bagel) 을 압도적으로 우세하게 수행했습니다.
• 마스킹 (Masking) 의 영향:
  • 작은 영역 (0-20%): 마스킹을 사용하면 원본 충실도와 문제 해결률이 크게 향상됩니다.
  • 큰 영역 (80-100%): 마스킹을 사용하면 오히려 원본 UI 의 다른 요소가 손상되거나 충실도가 떨어지므로, 마스킹 없이 전역적으로 수정하는 것이 더 효과적입니다.
• 중간 단계 (Suggestion Generation) 의 중요성:
  • 중간 단계 없이 직접 이미지를 생성하는 경우보다, 텍스트 명세를 먼저 생성한 후 이미지를 수정하는 2 단계 방식이 문제 해결률과 사용자 선호도에서 통계적으로 유의미하게 높은 점수를 기록했습니다.

RQ2: 사용자 및 개발자 평가 (실제 앱 연구)

• 사용자 관점 (15 명 참여):
  • 생성된 제안의 **85.5%**가 사용자의 의도를 "대부분" 또는 "매우" 정확하게 반영한다고 평가했습니다.
  • 사용자는 기술적 용어가 부족해 설명하기 어려웠던 문제를 AI 가 시각적으로 번역해 주므로 피드백 제출이 훨씬 수월해졌다고 느꼈습니다.
• 개발자 관점 (5 명 참여):
  • 개선 제안이 포함된 피드백은 **이해 가능성 (Understandability)**과 **실행 가능성 (Actionability)**이 통계적으로 유의미하게 향상되었습니다.
  • 개발자들은 제안된 해결책이 생각지 못한 창의적인 아이디어를 제공하기도 했으나, 플랫폼 규칙 준수나 전체 사용자 여정 (User Journey) 에 대한 고려가 필요하다는 점을 지적하며 신중한 검토가 필요함을 강조했습니다.

5. 의의 및 결론 (Significance)

• 사용자 - 개발자 협업의 혁신: GenAI 를 매개로 하여 사용자의 모호한 불만을 개발자가 즉시 실행 가능한 구체적인 UI 수정안으로 변환함으로써, 양측 간의 소통 장벽을 해소합니다.
• 소프트웨어 진화 촉진: 더 높은 품질의 피드백은 버그 수정과 기능 개선의 속도를 높여 앱의 지속적인 진화를 지원합니다.
• 미래 방향:
  • 속도 개선: 현재 1 분 이상의 생성 시간이 단축되어야 실시간 피드백에 활용 가능합니다.
  • 다중 화면 지원: 단일 화면을 넘어 전체 사용자 여정을 아우르는 문제 해결이 필요합니다.
  • 코드 생성: 시각적 모킹을 넘어 실제 코드 패치 (Patch) 를 생성하여 바로 배포할 수 있는 단계로의 발전이 기대됩니다.

이 논문은 생성형 AI 가 단순한 콘텐츠 생성 도구를 넘어, 소프트웨어 공학 분야에서 사용자와 개발자 간의 효과적인 소통을 위한 핵심 인터페이스로 자리 잡을 수 있음을 입증했습니다.