TRACE: AI-Assisted Assessment of Collaborative Projects in Computer Science Education

O artigo apresenta o TRACE, um framework semiautomático baseado em IA que utiliza mineração de repositórios e análise de comunicação para avaliar de forma justa e escalável tanto a qualidade dos projetos quanto as contribuições individuais em trabalhos colaborativos de ciência da computação, demonstrando alta concordância com avaliações de instrutores e maior satisfação dos alunos.

O essencial

Imagine que você é um professor de culinária e pede para seus alunos trabalharem em grupos para criar um prato complexo. O desafio? Saber exatamente quem fez o quê. Quem realmente cortou os legumes, quem temperou o molho e quem apenas ficou olhando a panela enquanto o outro cozinhava?

No mundo da programação (Ciência da Computação), esse problema é ainda maior. Projetos em grupo são essenciais, mas dar uma nota justa para cada aluno é um pesadelo para os professores. Se todos recebem a mesma nota, o "vagabundo" se beneficia. Se o professor tenta adivinhar, ele pode errar ou ficar exausto.

É aqui que entra o TRACE.

O Que é o TRACE?

Pense no TRACE como um "Detetive Digital" ou um "Juiz Robô" que ajuda o professor a avaliar projetos de programação. Ele não substitui o professor, mas funciona como um assistente superpoderoso que lê tudo o que aconteceu no projeto para dizer: "Olhe, o aluno A escreveu 60% do código, o aluno B fez as perguntas no fórum e o aluno C apenas mudou a cor do fundo".

O sistema funciona em três etapas principais, como se fosse uma fábrica de avaliações:

1. O Chefe de Cozinha (Avaliação do Projeto)

Primeiro, o TRACE olha para o prato final (o projeto de software) e pergunta: "Isso está bom?".

• Ele verifica se o código está limpo e organizado (como uma cozinha arrumada).
• Ele testa se o programa funciona sem quebrar (como provar a comida para ver se está salgada).
• Ele lê as instruções (documentação) para ver se são claras.
• Resultado: Uma nota geral para o trabalho do grupo todo.

2. O Espião dos Bastidores (Análise Individual)

Aqui é onde a mágica acontece. O TRACE entra no "histórico de conversas e ações" do grupo (como um diário de bordo do GitHub) para ver quem fez o quê. Ele usa quatro lentes diferentes:

• O Contador de Passos: Ele conta quantas vezes cada aluno mexeu no código, mas ignora mudanças bobas (como apenas apagar um espaço em branco). Ele quer saber quem escreveu a "alma" do programa.
• O Detetive de Autoria: Ele usa uma ferramenta chamada "git blame" (como uma caneta mágica) para ver quem escreveu cada linha de código. Se o João escreveu a parte do banco de dados, o crédito vai para ele.
• O Observador de Problemas: Ele olha quem criou os avisos de erros, quem respondeu às dúvidas dos colegas e quem resolveu os problemas. Às vezes, ajudar a equipe a não se perder vale mais do que escrever código.
• O Crítico de Código: Ele avalia quem revisou o trabalho dos outros. Quem apontou erros com educação e sugestões úteis ganha pontos de "trabalho em equipe".

3. O Juiz Final (Motor de Notas)

Agora, o TRACE junta tudo. Ele pega a nota do projeto (o prato) e a nota individual (quem fez o quê) e calcula a nota final.

• A fórmula padrão é: 60% da qualidade do projeto + 40% do esforço individual.
• Mas o professor pode mudar isso se quiser.
• O Pulo do Gato: Se o sistema detectar algo estranho (ex: um aluno que fez mil commits mas mudou apenas espaços em branco), ele levanta a mão e avisa o professor: "Ei, olhe isso aqui, parece que alguém está tentando enganar o sistema". O professor então decide o que fazer.

Por que isso é legal? (Os Resultados)

O sistema foi testado em uma turma real e funcionou muito bem:

• Justiça: A nota dada pelo robô combinou 91% com a nota que o professor daria manualmente.
• Transparência: Os alunos ficaram mais felizes porque podiam ver exatamente por que receberam aquela nota. Não era mais um "fechado" do professor.
• Tempo: O trabalho do professor caiu pela metade! Ele gastou menos tempo corrigindo e mais tempo ensinando.

O "Mas" (Limitações e Cuidados)

O TRACE não é perfeito e precisa de cuidado:

• Ideias não são código: Às vezes, um aluno teve a ideia genial do projeto ou organizou a equipe, mas não escreveu código. O robô pode não ver isso.
• Barreira do Idioma: Se um aluno escreve documentação com erros de inglês, o sistema pode dar uma nota baixa, mesmo que o código seja ótimo.
• Privacidade: O sistema lê tudo o que os alunos fazem. Por isso, ele precisa ter "cadeados" digitais para proteger os dados e garantir que ninguém espione indevidamente.

Conclusão

O TRACE é como ter um assistente de inteligência artificial que vigia o projeto 24 horas por dia, anotando quem fez o quê. Ele não tira a autoridade do professor; pelo contrário, ele dá ao professor mais ferramentas para ser justo.

Em vez de adivinhar quem trabalhou duro, o professor agora tem um "mapa do tesouro" mostrando onde cada aluno esteve. Isso torna a sala de aula mais justa, transparente e eficiente, preparando os alunos para o mundo real, onde o trabalho em equipe e a responsabilidade individual são fundamentais.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "TRACE: AI-Assisted Assessment of Collaborative Projects in Computer Science Education", apresentado em português:

1. O Problema

A avaliação de projetos colaborativos em cursos de Ciência da Computação enfrenta desafios significativos de equidade e escalabilidade. Embora os projetos em grupo sejam fundamentais para desenvolver habilidades de engenharia de software (como controle de versão e metodologias Ágeis), atribuir notas individuais justas é complexo.

• Limitações das abordagens tradicionais: A distribuição igualitária de notas ignora contribuições desiguais; as avaliações de pares são suscetíveis a viés, pressão social e falta de objetividade técnica; e a supervisão manual do instrutor não escala para turmas grandes, muitas vezes resultando em avaliações baseadas em informações incompletas.
• Necessidade: Há uma demanda crítica por ferramentas automatizadas que ofereçam transparência, objetividade e escalabilidade na medição de contribuições individuais dentro de um contexto de grupo.

2. Metodologia: O Framework TRACE

O TRACE é um sistema semi-automatizado de avaliação assistida por IA, projetado para analisar repositórios de código, logs de comunicação e métricas de desenvolvimento. A arquitetura do sistema é composta por três módulos principais:

A. Módulo de Avaliação da Qualidade do Projeto (PQAM)

Avalia a integridade técnica e qualitativa do projeto do grupo como um todo, gerando uma Pontuação de Qualidade do Projeto (PQS). Divide-se em cinco submódulos:

1. Qualidade do Código: Análise estática para detectar complexidade (Cyclomatic, Halstead), aderência a estilos (PEP8, ESLint) e duplicação de código.
2. Cobertura de Testes: Análise de testes unitários e de integração, verificando não apenas a porcentagem de cobertura, mas também a robustez (casos de borda, tratamento de exceções).
3. Documentação: Uso de Processamento de Linguagem Natural (NLP) para avaliar clareza, estrutura e completude de READMEs e manuais.
4. Funcionalidade: Execução automatizada de testes em ambientes isolados (Docker) e validação de requisitos.
5. Usabilidade: Avaliação de interfaces gráficas/web quanto a acessibilidade (WCAG), navegação e responsividade.

B. Analisador de Contribuição Individual (ICA)

Quantifica o esforço individual de cada estudante através de quatro submódulos, gerando uma Pontuação de Contribuição Normalizada (NCS):

1. Análise de Commits: Filtra alterações triviais (espaços em branco, comentários) e analisa padrões temporais e de comportamento para identificar contribuições substanciais.
2. Propriedade do Código (Code Ownership): Utiliza o comando git blame para mapear linhas de código aos autores, atribuindo crédito maior para lógica original e crédito parcial para edições menores.
3. Rastreador de Issues: Captura contribuições não-código, como criação de bugs, resolução de problemas e participação em discussões de tarefas.
4. Revisão de Código: Avalia a frequência e a qualidade das revisões de pares (Pull Requests), usando NLP para distinguir comentários construtivos de genéricos.

C. Motor de Classificação (GE)

Integra os resultados do PQS e do NCS para gerar a nota final.

• Fórmula Padrão: Nota = (PQS * 0.6) + (NCS * 0.4).
• Personalização: Os pesos são configuráveis pelo instrutor.
• Detecção de Anomalias: O sistema identifica padrões injustos (ex: um aluno com muitos commits mas pouco código original, ou contribuições extremamente baixas) e sinaliza para revisão manual.
• Transparência: Gera dashboards visuais para instrutores e relatórios detalhados para alunos, explicando como a nota foi calculada.

3. Contribuições Principais

• Framework Híbrido: Combina análise estática de código, mineração de repositórios e NLP para criar uma visão holística que vai além da simples contagem de linhas de código.
• Abordagem Explicável: Diferente de "caixas pretas", o TRACE fornece dashboards que mostram a distribuição de contribuições, linhas de código atribuídas e participação em discussões, permitindo que alunos e instrutores entendam a lógica da nota.
• Redução de Carga de Trabalho: Automatiza a coleta de dados e a análise preliminar, permitindo que os instrutores foquem na revisão de casos excepcionais em vez de avaliar cada linha de código manualmente.
• Considerações Éticas: O sistema foi desenhado com salvaguardas de privacidade, consentimento informado e mecanismos de auditoria para mitigar viés algorítmico (ex: viés linguístico em documentação).

4. Resultados do Piloto

Um piloto foi conduzido em um curso de Engenharia de Software na primavera de 2025, com 20 alunos divididos em 5 equipes.

• Alinhamento com Instrutores: Houve uma forte correlação (Coeficiente de Correlação de Pearson r = 0,91) entre as notas geradas pelo TRACE e as notas atribuídas pelos instrutores.
• Satisfação dos Alunos: Os alunos relataram alta percepção de justiça (4,3/5) e transparência (4,5/5).
• Eficiência: O tempo de avaliação dos instrutores foi reduzido em 45% em comparação com métodos manuais.
• Cenários Reais: O sistema conseguiu identificar com sucesso:
  • Equipes com contribuições equilibradas.
  • Alunos que dominaram a maior parte do código (58% da autoria).
  • Tentativas de inflação de notas através de commits triviais (que foram filtrados e sinalizados).
• Escalabilidade: Testes de carga simulados indicaram desempenho estável para turmas superiores a 200 alunos.

5. Significado e Impacto

O TRACE demonstra que a análise de dados orientada por IA pode transformar a avaliação de projetos colaborativos, tornando-a mais justa, transparente e escalável.

• Equidade: Ao quantificar contribuições objetivas, reduz-se o "free-riding" (alunos que não contribuem) e o viés subjetivo das avaliações de pares.
• Aprendizado: A visibilidade das métricas incentiva os alunos a participarem de forma mais consistente e a documentarem seu trabalho adequadamente.
• Futuro: O sistema não substitui o julgamento do instrutor, mas atua como uma ferramenta de apoio à decisão. O artigo propõe futuras expansões, como integração com IDEs para capturar atividade local, análise de artefatos multimídia (vídeos, wireframes) e modelos de classificação adaptativos que aprendem com o feedback dos instrutores.

Em resumo, o TRACE oferece um modelo robusto para modernizar a avaliação em cursos de computação, equilibrando a eficiência da automação com a necessária supervisão humana e ética.