Exploring Individual Factors in the Adoption of LLMs for Specific Software Engineering Purposes

1. Problema e Motivação

O advento dos Grandes Modelos de Linguagem (LLMs) está transformando o desenvolvimento de software, mas a literatura existente foca predominantemente em tendências gerais de adoção ou no desempenho técnico dos modelos. Existe uma lacuna significativa na compreensão de quais fatores individuais e cognitivos impulsionam a adoção de LLMs para propósitos específicos dentro da Engenharia de Software (ES).

A maioria dos estudos trata a adoção como um fenômeno homogêneo, ignorando que a motivação para usar uma LLM para gerar código difere da motivação para usá-la em treinamento, tomada de decisão ou recuperação de informações. Essa falta de granularidade impede a criação de ferramentas e estratégias de gestão otimizadas para necessidades específicas dos engenheiros.

2. Metodologia

O estudo adota uma abordagem quantitativa baseada em um modelo de equações estruturais (SEM) para investigar as relações entre perfis individuais e o uso de LLMs.

• Modelo Teórico: O estudo utiliza a teoria UTAUT2 (Unified Theory of Acceptance and Use of Technology 2) para caracterizar os perfis dos desenvolvedores (variáveis independentes). As variáveis incluem: Expectativa de Desempenho (PE), Expectativa de Esforço (EE), Influência Social (SI), Motivação Hedônica (HM), Condições Facilitadoras (FC), Hábito (Hb) e Intenção Comportamental (BI).
• Variáveis Dependentes: Baseando-se no framework de Khojah et al., o uso de LLMs foi categorizado em cinco propósitos específicos:
  1. Manipulação de Artefatos (UB1): Geração/modificação de código e documentação.
  2. Geração de Alternativas (UB2): Criação de versões alternativas de um artefato.
  3. Recuperação de Informações (UB3): Extração e síntese de dados de fontes externas.
  4. Suporte à Decisão (UB4): Facilitação de decisões através de recomendações.
  5. Treinamento (UB5): Aprendizado de novos conceitos.
• Coleta de Dados: Foi realizada uma pesquisa com 188 engenheiros de software experientes no uso de LLMs. Os participantes foram recrutados via plataforma Prolific, garantindo critérios rigorosos de elegibilidade (experiência em ES, fluência em inglês, alta taxa de aprovação).
• Análise: Os dados foram analisados utilizando PLS-SEM (Partial Least Squares Structural Equation Modeling) via software SmartPLS. Esta técnica foi escolhida por sua capacidade de lidar com modelos complexos, múltiplas variáveis dependentes e dados não normais, permitindo testar efeitos diretos, indiretos e totais.

3. Principais Contribuições

• Granularidade na Adoção: O estudo desafia a visão de que a adoção de IA é uniforme, demonstrando que os drivers de adoção variam significativamente dependendo do propósito de uso (ex.: o que motiva o uso para gerar código não é o mesmo que motiva o uso para aprender).
• Validação do Framework UTAUT2 em Contextos Específicos: Aplica e refina o modelo UTAUT2 no domínio de ES, mostrando como construtos como "Hábito" e "Influência Social" atuam de forma heterogênea.
• Recomendações Práticas: Oferece diretrizes acionáveis para líderes de equipe e designers de ferramentas, sugerindo que estratégias de adoção devem ser customizadas conforme o caso de uso (ex.: foco em integração para geração de código vs. foco em validação social para recuperação de informações).

4. Resultados Chave

A análise revelou padrões distintos de adoção para cada propósito:

• O Hábito (Hb) é o Preditor Mais Forte: O hábito foi identificado como o fator mais consistente e forte em todos os tipos de comportamento apoiado por IA. Engenheiros que já incorporaram LLMs em seu fluxo de trabalho tendem a usá-los mais frequentemente, independentemente do propósito.
• Expectativa de Desempenho (PE): Tem um impacto positivo forte na intenção de uso geral, mas seus efeitos diretos nos propósitos específicos são variáveis. Curiosamente, para a "Geração de Alternativas" (UB2), a PE teve um efeito negativo direto, sugerindo que, quando os usuários percebem que a ferramenta exige muito esforço cognitivo para criar variações, podem evitar seu uso.
• Condições Facilitadoras (FC): Moldam o uso real (Behavioral Usage), mas não afetam a intenção de adoção. Isso indica que a infraestrutura e o suporte técnico são cruciais para que o uso ocorra, mas não necessariamente para que o usuário queira usar inicialmente.
• Influência Social (SI):
  • Tem um papel limitado na maioria dos casos.
  • Exceção Crítica: É um driver direto e significativo para Recuperação de Informações (UB3) e Suporte à Decisão (UB4). Isso sugere que, em tarefas que exigem credibilidade e contexto compartilhado, a validação por pares e líderes é essencial para a adoção.
• Diferenças por Propósito:
  • Manipulação de Artefatos (UB1): É o uso mais "intuitivo" e menos dependente de fatores externos, sendo impulsionado principalmente pelo hábito e integração no fluxo de trabalho.
  • Treinamento (UB5): Apresentou o menor poder explicativo ($R^2$), indicando que fatores não capturados pelo modelo (como autoeficácia no aprendizado) são cruciais. Além disso, condições facilitadoras tiveram um impacto negativo neste contexto (possivelmente porque ambientes muito facilitados levam os usuários a preferirem recursos tradicionais de treinamento).

5. Significado e Implicações

• Para a Gestão e Liderança: Estratégias de adoção de IA não podem ser "tamanho único". Para tarefas de recuperação de informação e decisão, líderes devem fomentar a validação entre pares e a criação de comunidades de prática. Para tarefas de geração de código, o foco deve ser a integração perfeita (IDE plugins) para reforçar o hábito.
• Para o Design de Ferramentas: A usabilidade (Expectativa de Esforço) é crítica para tarefas que exigem reinterpretação conceitual (como gerar alternativas). Ferramentas devem minimizar a fricção para evitar que os engenheiros voltem para métodos manuais.
• Para a Pesquisa Futura: O estudo aponta a necessidade de investigar fatores organizacionais (políticas de uso de dados, normas de equipe) e a qualidade da saída da IA (alucinações), que podem minar a confiança, especialmente em tarefas de alta responsabilidade como tomada de decisão.

Em suma, o artigo conclui que a adoção de LLMs na Engenharia de Software é um fenômeno dependente do contexto, onde o hábito é o motor universal, mas os fatores motivacionais secundários variam drasticamente conforme a tarefa que o engenheiro deseja realizar.