Understanding the Human-LLM Dynamic: A Literature Survey of LLM Use in Programming Tasks

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) transformaram rapidamente as práticas de programação, oferecendo capacidades em geração, análise e reparo de código. No entanto, embora existam benchmarks técnicos, há uma falta de compreensão abrangente sobre como os humanos realmente interagem com LLMs em cenários de programação do mundo real e o impacto líquido dessas interações na capacidade humana e no desempenho da tarefa.

A literatura existente frequentemente foca no desempenho do modelo contra conjuntos de dados estáticos ou em estudos de usabilidade isolados. Existe uma lacuna na síntese de estudos com usuários para compreender:

• Os padrões de interação específicos e as estratégias de prompt empregadas por programadores.
• Se os LLMs genuinamente aumentam a produtividade e a aprendizagem humanas ou introduzem novas cargas cognitivas.
• Como comportamentos de interação específicos correlacionam-se com o sucesso ou fracasso da tarefa.
• A variabilidade nos resultados entre diferentes níveis de expertise do usuário (iniciantes vs. especialistas) e tipos de tarefa.

2. Metodologia

Os autores conduziram uma revisão sistemática da literatura focada em estudos com usuários e relatórios de experiência envolvendo LLMs em tarefas de programação.

• Estratégia de Busca:
  • Bases de Dados: ACM, IEEE, Scopus e arXiv.
  • Palavras-chave: Combinações de identificadores de LLM (por exemplo, "ChatGPT", "Copilot", "LLM") e termos de programação (por exemplo, "programadores", "geração de código", "síntese de programas").
  • Escopo: Artigos publicados após 2017 (coincidindo com a arquitetura Transformer).
  • Critérios de Inclusão: Artigos devem envolver LLMs baseados na arquitetura Transformer, referir-se à programação e incluir um estudo com usuários ou relatório de experiência com interações humano-LLM observadas.
  • Critérios de Exclusão: Estudos baseados exclusivamente em avaliações de conjuntos de dados sem interação humana, ou estudos não focados no processo de programação.
• Coleta de Dados:
  • A busca inicial produziu um conjunto amplo, que foi refinado através de triagem de título/resumo e revisão de texto completo.
  • Bola de Neve: A bola de neve retroativa e prospectiva (citações) foi utilizada para ampliar o conjunto de dados.
  • Corpus Final: 88 artigos foram selecionados para análise.
• Estrutura de Análise:
  • Os artigos foram categorizados por objetivos do estudo (por exemplo, Aprimoramento Humano, Desempenho da Tarefa, Análise de Interação).
  • Os participantes foram classificados como Academia vs. Indústria e Iniciantes vs. Especialistas (usando um Modelo Dreyfus modificado).
  • Quatro Questões de Pesquisa (RQs) guiaram a síntese qualitativa e quantitativa.

3. Principais Contribuições

O artigo faz quatro contribuições primárias para o campo da Interação Humano-Computador (IHC) e Engenharia de Software:

1. Taxonomia de Padrões de Interação: Uma classificação detalhada de como os programadores interagem com LLMs, incluindo tipos de solicitação, estratégias de prompt e comportamentos de revisão.
2. Síntese de Métricas de Desempenho: Uma visão consolidada das métricas usadas para avaliar o aprimoramento humano (produtividade, aprendizagem) e o desempenho da tarefa (correção, segurança, legibilidade).
3. Identificação de Fatores Contextuais: Evidências mostrando que a eficácia do LLM é altamente dependente da expertise do usuário, da complexidade da tarefa e da estrutura da implementação do LLM (guiada vs. não estruturada).
4. Diretrizes Práticas e Proposta de Padronização: Recomendações para pesquisadores padronizarem métricas de avaliação e para profissionais adotarem técnicas de interação eficazes.

4. Principais Resultados

RQ1: Observações de Interação

• Tipos de Solicitação: Os usuários fazem quatro tipos de solicitações:
  1. Aprendizagem/Exploração: Pedir explicações ou ideias de implementação (comum em iniciantes).
  2. Orientada à Solução: Solicitar geração específica de código ou casos de teste.
  3. Correção de Erros: Depurar código ou refinar saídas incorretas do LLM.
  4. Não Relacionada: Prompts sociais ou consultas fora do tópico.
• Estratégias de Prompt:
  • Prompt Único (Zero-shot): Pedir uma solução de uma só vez.
  • Multi-Prompt: Dividir tarefas em subtarefas.
  • Técnicas de Re-prompting: Quando as tentativas iniciais falham, os usuários empregam estratégias como repergunta, verificação (pedir ao LLM para se verificar), transformação de tarefa (mudar o problema completamente), reestruturação de palavras e elaboração (adicionar contexto). A elaboração foi a estratégia mais comum e eficaz.
• Modos de Interação:
  • Apenas LLM: Usuários dependem inteiramente do modelo (indica dependência).
  • Sem LLM: Usuários retornam à codificação manual (raro, frequentemente devido à carga cognitiva).
  • Híbrido: O modo mais comum; usuários combinam geração pelo LLM com codificação manual e revisão para gerenciar a carga cognitiva.
• Alocação de Tempo: Os usuários passam a maior parte do tempo (>50%) compreendendo as respostas do LLM e elaborando prompts, em vez de escrever código. Isso sinaliza uma mudança de "escrita de código" para "revisão de código".

RQ2: Avaliação de Aprimoramento Humano

• Produtividade de Tempo: Os resultados são mistos. LLMs melhoram significativamente a produtividade para tarefas simples e codificação pesada em sintaxe. No entanto, para tarefas complexas, a produtividade frequentemente diminui devido ao tempo necessário para compreender, depurar e verificar a saída do LLM.
• Aprendizagem:
  • Estruturada/Guiada: Quando os LLMs são usados como sistemas de tutoria com objetivos claros, os ganhos de aprendizagem são significativos.
  • Não Estruturada: Quando os estudantes têm acesso livre a LLMs gerais, os resultados de aprendizagem são frequentemente neutros ou negativos. Alguns estudos mostraram que estudantes usando LLMs performaram pior em testes pós-escrita manual, sugerindo uma possível "atrofia de sintaxe" ou dependência excessiva.

RQ3: Avaliação de Desempenho da Tarefa

• Correção Colaborativa: LLMs mostram alta precisão em tarefas de programação básica e algorítmica, mas exibem variância significativa em tarefas complexas ou de domínio específico.
• Segurança e Confiabilidade do Código: As descobertas são contraditórias. Alguns estudos mostram que LLMs geram código mais seguro; outros indicam que introduzem mais vulnerabilidades (bugs, bibliotecas inseguras). A avaliação explícita de segurança permanece uma lacuna de pesquisa.
• Legibilidade: O código gerado por LLMs é geralmente legível, mas pode usar conceitos desconhecidos para o usuário, exigindo mais prompts para compreensão.

RQ4: Efeitos da Interação no Desempenho

• Impacto Comportamental: Padrões de interação específicos correlacionam-se com resultados.
  • Modos de Aprendizagem/Exploração frequentemente reduzem a produtividade de tempo, mas aumentam a compreensão.
  • Modos de Implementação melhoram a produtividade de tempo.
  • A elaboração (fornecer contexto detalhado) e o relato preciso de erros são os preditores mais fortes de conclusão bem-sucedida da tarefa.
• Lacuna de Expertise: Especialistas tendem a gastar menos tempo revisando código e mais tempo na integração manual, enquanto iniciantes gastam mais tempo tentando entender o código gerado, às vezes levando a comportamentos de "copiar e colar" sem verificação.

5. Significado e Implicações

• Para Pesquisadores:
  • Padronização: O artigo propõe um conjunto padronizado de métricas (Tabela 8) para avaliar interações humano-LLM (por exemplo, Taxa de Sucesso, Tempo de Conclusão, Pontuações Pré/Pós-teste) para permitir melhor comparação entre estudos.
  • Direções Futuras: Destaca a necessidade de estudar padrões de interação através de diferentes modelos de LLM (além de apenas ChatGPT/Copilot) e investigar como estratégias específicas de prompt afetam quantitativamente o desempenho.
• Para Profissionais e Educadores:
  • Habilidades de Prompting: O uso eficaz de LLMs requer habilidades de "engenharia de prompt" (elaboração, fornecimento de contexto) em vez de apenas conhecimento de sintaxe.
  • Aprendizagem vs. Compreensão: Educadores devem distinguir entre usar LLMs para compreender código (benéfico) versus usá-los para aprender a programar (potencialmente prejudicial se não estruturado).
  • Fluxos de Trabalho Híbridos: O fluxo de trabalho mais eficaz é o "Híbrido", onde o humano atua como arquiteto e revisor, e o LLM atua como gerador de componentes.
• Design de Sistema: As interfaces de LLM devem ser projetadas para reduzir a carga cognitiva, talvez segmentando respostas ou fornecendo sugestões sensíveis ao contexto para auxiliar na fase de "revisão", que é atualmente a parte mais demorada da interação.

Conclusão

O artigo conclui que a dinâmica Humano-LLM é não determinística e altamente dependente do contexto. Embora os LLMs ofereçam potencial significativo para aprimorar a produtividade e a aprendizagem em programação, esses benefícios não são automáticos. Eles dependem fortemente da expertise do usuário, da complexidade da tarefa e da capacidade do usuário de se engajar em estratégias de interação eficazes (especificamente elaboração e verificação). Os autores pedem uma mudança no foco da pesquisa de benchmarks puramente centrados no modelo para estudos de interação centrados no usuário para realizar plenamente o potencial dos LLMs na engenharia de software.