The Role of LLMs in Collaborative Software Design

Resumo Técnico: O Papel dos LLMs no Design de Software Colaborativo

1. Problema e Motivação

Embora existam extensas pesquisas sobre o uso de Grandes Modelos de Linguagem (LLMs) para tarefas de desenvolvimento individual (como codificação), há uma lacuna significativa no entendimento de como esses modelos impactam o trabalho colaborativo em grupo na engenharia de software. O design de software é inerentemente uma atividade colaborativa e humana, envolvendo trade-offs, abstração e tomada de decisões complexas.
O estudo busca preencher essa lacuna respondendo a quatro perguntas de pesquisa (RQs):

• RQ1: Quais padrões de colaboração surgem quando pares de designers têm acesso a um LLM?
• RQ2: Como os designers utilizam o LLM e para quais propósitos?
• RQ3: Como os designers interpretam e agem sobre as respostas do LLM?
• RQ4: Quais são as percepções dos designers sobre o uso de LLMs para design de software?

2. Metodologia

O estudo foi uma investigação exploratória de laboratório conduzida remotamente, simulando um ambiente de trabalho real.

• Participantes: 18 pares (36 profissionais) de software, com experiência variada (de 1 a 20+ anos), incluindo engenheiros, arquitetos e designers de UX. A maioria já tinha experiência prévia com LLMs.
• Tarefa: Os pares deveriam projetar um aplicativo móvel para estacionamento de bicicletas em um campus universitário ("greenfield design"). O objetivo era produzir um documento de design completo (arquitetura, banco de dados, fluxos) em até 90 minutos.
• Ferramentas:
  • Os participantes podiam usar ferramentas de design colaborativo de sua escolha (ex: Google Docs, LucidChart).
  • Um wrapper personalizado de LLM (baseado na API do ChatGPT 3.5 Turbo) foi fornecido. Este wrapper permitia que cada parceiro invocasse o LLM independentemente, mas não alterava o comportamento do modelo.
• Coleta de Dados: Gravações de vídeo das sessões de design (Zoom), logs de conversas com o LLM, documentos de design finais e entrevistas de saída (pós-tarefa).
• Análise: Análise qualitativa predominante, utilizando codificação abductiva para os logs e vídeos, e análise temática indutiva para as entrevistas.

3. Contribuições e Resultados Principais

O estudo identificou padrões distintos de uso, papéis atribuídos ao LLM e comportamentos de interação.

A. Padrões de Colaboração (RQ1)

Dois padrões principais de uso conjunto do LLM foram observados:

1. Instância Compartilhada (Shared Instance): Os pares usavam uma única sessão de chat, agindo de forma semelhante ao "pair programming" (um digita, ambos revisam). Isso facilitou o entendimento compartilhado e a coesão.
2. Instâncias Separadas (Separate Instances): Cada parceiro usava sua própria janela de chat. Embora permitisse exploração paralela, isso frequentemente levou ao "desvio de contexto" (context drift), onde as soluções propostas por cada parceiro divergiam, exigindo esforço extra de coordenação para alinhar o design final.

B. Papéis Atribuídos ao LLM (RQ2)

Os pesquisadores identificaram um continuum de quatro papéis que os designers atribuíram ao LLM, independentemente do nível de experiência:

1. Sem Papel (No Role): Dois pares decidiram não usar o LLM para a tarefa, confiando em sua própria expertise ou em outras fontes (ex: Stack Overflow), citando desconfiança ou ineficiência percebida.
2. Fonte de Informação (Information Source): O LLM foi usado como um "banco de conhecimento" para preencher lacunas específicas (ex: detalhes de APIs do Google Maps, tipos de banco de dados), sem gerar artefatos de design completos.
3. Gerador (Generator): O LLM foi usado para criar artefatos específicos (ex: modelos de dados, diagramas de sequência) que serviam como pontos de partida. Os designers então refinavam, corrigiam e adaptavam esses artefatos.
4. Produtor (Producer): Três pares trataram o LLM como o produtor do documento de design completo. Eles guiaram o modelo através de conversas contínuas para gerar a solução final, com pouca articulação manual além da interação com o prompt.

C. Interpretação e Ação sobre Respostas (RQ3)

Os designers não aceitaram passivamente as respostas do LLM. O processo envolveu:

• Escrutínio e Verificação: Os profissionais compararam as respostas com os requisitos (PRD), usaram editores visuais para validar modelos gerados (ex: PlantUML) e rejeitaram respostas com erros ou omissões.
• Reflexão e Insights: As respostas do LLM frequentemente desencadearam reflexões sobre o design existente, levando à identificação de omissões, esclarecimento de escopo ou decisões de reutilização de componentes (ex: usar API do Google Maps em vez de criar do zero).
• Iteração: Houve ciclos extensos de "prompt-revisão-revisão". No entanto, o estudo observou o risco de ancoragem precoce (early anchoring), onde os designers ficavam presos à primeira sugestão atraente do LLM, limitando a exploração de alternativas.

D. Percepções dos Participantes (RQ4)

• Confiança e Desconfiança: Houve preocupação constante com "alucinações" e a necessidade de validação humana.
• Aumento de Confiança: O LLM serviu como uma "verificação de sanidade" (sanity check), reduzindo o estresse e confirmando caminhos de design.
• Valor da Parceria Humana: Os participantes enfatizaram que trabalhar em pares foi crucial para evitar que o LLM fosse "desviado" por suposições erradas de um único usuário. A expertise humana permaneceu central para julgar a adequação das respostas.
• Adequação: O LLM foi visto como mais adequado para trabalhos iniciais ("spikes"), design de alto nível e projetos "greenfield", mas menos eficiente para detalhes complexos e específicos.

4. Significância e Implicações

• Humanidade no Centro: O estudo reforça que, mesmo com LLMs, o designer humano permanece no centro do processo, atuando como o crítico, integrador e tomador de decisões final. O LLM atua como um "objeto de fronteira" (boundary object) para coordenar o entendimento, mas não substitui o julgamento humano.
• Design de Ferramentas Futuras: Os resultados sugerem que ferramentas de IA para design colaborativo devem:
  • Suportar o forking (ramificação) para permitir exploração paralela de soluções com posterior mesclagem (merge).
  • Destacar desvios de contexto para facilitar a coordenação em instâncias separadas.
  • Oferecer alternativas para mitigar vieses cognitivos como a ancoragem precoce.
• Impacto na Prática: A introdução de LLMs altera a dinâmica de trabalho, exigindo novas formas de alinhamento não apenas entre humanos, mas entre humanos e o modelo. A escolha entre usar uma instância compartilhada ou separada tem implicações diretas na qualidade da colaboração e na profundidade da exploração do espaço de soluções.

Em suma, o estudo demonstra que os LLMs têm potencial para acelerar e enriquecer o design de software colaborativo, mas seu uso eficaz depende de padrões de interação bem definidos e de uma supervisão humana rigorosa para garantir a qualidade e a coerência do produto final.