💻 computer science

Personalizing LLM-Based Conversational Programming Assistants

Este artigo discute o trabalho atual e futuro para caracterizar como a diversidade cognitiva e o contexto organizacional influenciam as necessidades dos desenvolvedores, explorando a personalização como meio de melhorar a inclusividade de assistentes de programação conversacionais baseados em Grandes Modelos de Linguagem.

Autores originais: Jonan Richards

Publicado 2026-04-15

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jonan Richards

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente de programação superinteligente, como um estagiário que leu todos os livros do mundo sobre código. Ele é incrível: escreve códigos, encontra erros e explica coisas complexas. Mas, e se esse estagiário não soubesse como você pensa?

É exatamente sobre isso que trata este trabalho de pesquisa. O autor, Jonan Richards, quer resolver um problema: um assistente único não serve para todos.

Aqui está a explicação do projeto, traduzida para uma linguagem simples e com algumas analogias divertidas:

1. O Problema: O "Tamanho Único" Não Serve

Hoje, usamos assistentes de IA (como o Copilot ou o ChatGPT) para ajudar a programar. Eles são ótimos, mas funcionam como um tênis de tamanho único.

Para um programador experiente, o tênis pode apertar (ele quer apenas o código rápido, sem explicações).
Para um iniciante, o tênis pode ser grande demais (ele precisa de explicações passo a passo, senão se perde).
Além disso, o ambiente de trabalho importa: um programador em uma startup caótica precisa de coisas diferentes de alguém em um banco com regras rígidas.

O resultado? O assistente ajuda alguns, mas deixa outros para trás. O objetivo da pesquisa é criar um tênis sob medida (personalizado) para cada tipo de cérebro e situação.

2. A Solução: O Assistente que "Lê a Mente" (e o Contexto)

A ideia é fazer com que o assistente aprenda a adaptar a forma como ele fala e ajuda, baseando-se em duas coisas:

Quem é você: Seu estilo de pensamento, sua experiência e como você prefere aprender.
Onde você está: Se você está sob pressão, se é o primeiro dia no trabalho, ou se está resolvendo um bug urgente.

A Analogia do Guia de Turismo:
Imagine que você está em uma cidade nova.

Se você é um turista experiente que só quer ver os pontos turísticos, o guia te dá um mapa e diz: "Vá até lá, é rápido".
Se você é um turista que nunca viajou e está ansioso, o guia te segura pela mão, explica a história de cada prédio e te pergunta: "Você quer ir devagar ou rápido?".
O assistente de programação atual é como um guia que só fala com os experientes. A pesquisa quer criar um guia que saiba quem é você e como você se sente para ajustar o tom da conversa.

3. Como Eles Vão Fazer Isso? (O Plano de 3 Passos)

O projeto está dividido em três fases, como se fosse a construção de uma casa:

Fase 1: Entendendo os Moradores (Pesquisa)
Eles vão observar programadores reais. Não apenas "o que" eles fazem, mas "como" eles pensam.
- Exemplo: Eles vão ver se um programador júnior faz perguntas diferentes de um sênior. Eles vão descobrir que, às vezes, a pessoa não quer a resposta pronta; ela quer entender por que a resposta é aquela.
- Eles também vão olhar para o ambiente: será que a empresa permite usar IA? O time apoia? Isso muda como a pessoa pede ajuda.
Fase 2: Desenho do "Cérebro" Personalizado
Com os dados coletados, eles vão criar regras para o assistente.
- Modo Automático (Inferência): O assistente observa como você pergunta. Se você faz perguntas vagas, ele entende que você é iniciante e explica mais. Se você usa termos técnicos, ele vai direto ao ponto.
- Modo Manual (Controle): O assistente pode perguntar: "Você quer que eu explique o código ou só te dê a solução?". Isso dá controle ao usuário.
Fase 3: O Protótipo e o Teste
Eles vão construir um assistente de verdade que usa essas regras.
- Eles vão testar se esse assistente personalizado é realmente melhor do que o "tamanho único".
- Curiosidade: Como testar isso é difícil e demorado, eles também estão criando um "juiz artificial" (outra IA) para ajudar a avaliar se o assistente está funcionando bem, sem precisar de humanos o tempo todo.

4. Por que isso é importante?

Hoje, a tecnologia de IA avança rápido, mas ela ainda é um pouco "cega" para as diferenças humanas. Se não personalizarmos essas ferramentas, elas podem acabar excluindo pessoas menos experientes ou de perfis diferentes, aumentando a desigualdade na área de tecnologia.

Resumo em uma frase:
Este projeto quer transformar o assistente de programação de um "robô que segue ordens" em um parceiro inteligente que entende quem você é, como você pensa e o que você precisa no momento, tornando a programação mais fácil e inclusiva para todos.

Resumo Técnico: Personalização de Assistentes de Programação Conversacionais Baseados em LLM

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) têm demonstrado grande potencial em ferramentas de Engenharia de Software (ES), atuando como assistentes de programação conversacionais (ex: GitHub Copilot, ChatGPT). Embora ofereçam utilidade técnica e suporte a aspectos humanos do desenvolvimento, existem desafios significativos na sua adoção e eficácia:

Diversidade Cognitiva e Contextual: As necessidades dos desenvolvedores variam drasticamente com base em fatores cognitivos (estilos de aprendizado, experiência, gênero) e contextuais (políticas organizacionais, dinâmica de equipe, estágio no ciclo de vida do software).
Barreira de Entrada: A interação eficaz com assistentes LLM exige esforço substancial na elaboração de prompts (instruções), criando uma barreira que pode excluir desenvolvedores com menos experiência ou estilos cognitivos diferentes.
Falta de Inclusividade: Estudos anteriores indicam que assistentes atuais não atendem adequadamente à diversidade de estilos de resolução de problemas, exacerbando lacunas de adoção entre diferentes grupos de desenvolvedores.

O problema central é: Como um assistente de programação baseado em LLM pode fornecer suporte personalizado eficaz para aumentar a inclusão, considerando a diversidade cognitiva e o contexto organizacional?

2. Metodologia

A pesquisa propõe uma abordagem estruturada em três fases principais, combinando métodos qualitativos e quantitativos da Interação Humano-Computador (HCI) e Inteligência Artificial (IA). O modelo conceitual (Figura 1) relaciona Fatores Pessoais/Contextuais $\rightarrow$ Necessidades $\rightarrow$ Estilo de Interação.

Fase I: Compreensão da Diversidade nas Interações
- Objetivo: Mapear como a experiência, estilo cognitivo e contexto organizacional afetam as necessidades e o estilo de interação.
- Estudo A (Preliminar): Estudo de pensamento em voz alta (thinking-aloud) com 27 participantes de perfis diversos em tarefas de alteração de código, utilizando o GitHub Copilot Chat. Inclui entrevistas e análise quantitativa de mensagens para identificar estilos de interação.
- Estudo B (Estudo de Caso): Entrevistas semiestruturadas em uma empresa de engenharia de software para analisar como fatores sociais e organizacionais moldam atitudes e estilos de interação entre diferentes papéis e indivíduos.
Fase II: Design de Abordagens de Personalização
- Objetivo: Desenvolver mecanismos para inferir necessidades e permitir controle explícito.
- Estudo C (Inferência Implícita): Uso de técnicas de NLP e LLMs no dataset do Estudo A para inferir as necessidades do desenvolvedor a partir do seu estilo de interação, respondendo à questão de como automatizar a personalização.
- Estudo D (Inferência Explícita e Human-in-the-Loop): Pesquisa por cenários (vignette survey) para determinar quais aspectos da interação devem ser personalizados. Explora mecanismos onde o usuário pode visualizar, editar e confirmar as necessidades inferidas pelo sistema, equilibrando transparência e esforço do usuário.
Fase III: Implementação e Avaliação de Protótipo
- Objetivo: Construir e validar um assistente personalizado.
- Estudo E (Avaliação Automatizada): Proposta de um framework de avaliação que combina insights de HCI e IA, utilizando LLMs como "usuários simulados" e juízes (LLM-as-a-Judge) para avaliar a eficácia da personalização em escala, complementando estudos manuais.
- Estudo F (Protótipo e Validação): Implementação de um assistente que integra personalização implícita (inferência de necessidades) e explícita (configuração pelo usuário). Envolve um estudo piloto ( $n=10$ ) e um estudo de usuário final para validar a eficácia e detectar vieses no sistema e no framework de avaliação.

3. Contribuições Principais

A pesquisa visa entregar três contribuições fundamentais:

Framework Explicativo: Um modelo teórico detalhando como fatores cognitivos e organizacionais influenciam as necessidades e estilos de interação dos desenvolvedores com assistentes de programação.
Estratégias de Personalização: O design de abordagens híbridas (implícitas e explícitas) para adaptar o suporte do assistente, aumentando a inclusividade.
Protótipo Funcional: Um assistente de programação personalizado que demonstra a aplicação prática dessas estratégias, junto com um framework de avaliação automatizada para ferramentas baseadas em LLM.

4. Resultados Preliminares e Expectativas

Estudo PRE (Preliminar): Uma prova de conceito demonstrou que a personalização automática é viável e percebida positivamente por desenvolvedores iniciantes, melhorando a clareza das respostas. No entanto, revelou que os LLMs necessitam de orientação explícita sobre como personalizar, pois a inferência automática sem diretrizes é insuficiente.
Diversidade Observada: Mesmo em amostras restritas (iniciantes), houve uma grande diversidade nos estilos de interação e preferências (ex: necessidade de explicações detalhadas vs. soluções diretas, uso de terminologia técnica).
Expectativa Futura: Os estudos futuros (A a F) devem validar que a personalização baseada em perfis cognitivos e contextuais reduz a fricção na adoção de ferramentas e aumenta a produtividade e satisfação (UX pragmática e hedônica).

5. Significância e Impacto

Este trabalho é crucial para o futuro da Engenharia de Software assistida por IA:

Inclusividade: Ao abordar a diversidade cognitiva e organizacional, o projeto busca democratizar o acesso a ferramentas de IA, garantindo que desenvolvedores de diferentes níveis de experiência e backgrounds possam se beneficiar igualmente.
Avanço Teórico: Integra modelos de UX (como o de Hassenzahl e Norman) com a prática de LLMs, oferecendo uma base sólida para entender a interação humano-IA em contextos complexos.
Orientação para a Indústria: Fornece diretrizes para provedores de ferramentas (como GitHub e Tabnine) e gestores de equipes sobre como projetar e implantar assistentes que se adaptem dinamicamente às necessidades da equipe, reduzindo a curva de aprendizado e os vieses de adoção.
Método de Avaliação: Introduz uma nova perspectiva na avaliação de assistentes conversacionais, propondo o uso de LLMs para simular usuários e avaliar a personalização em escala, um desafio crítico para a pesquisa em HCI com IA.

Em suma, o artigo propõe uma mudança de paradigma: de assistentes de programação genéricos para sistemas adaptativos que reconhecem e respondem à complexidade humana e organizacional do desenvolvimento de software.