Resumo Técnico: vProjTutor – Um Sistema de Planejamento e Monitoramento Dinâmico Baseado em Agentes de LLM

Declaração do Problema

Projetos educacionais colaborativos exigem planejamento, coordenação e monitoramento contínuos. Embora os chatbots educacionais existentes apoiem efetivamente tutorias e consultas administrativas, eles geralmente carecem da capacidade de gerenciar fluxos de trabalho complexos de múltiplas etapas ou de se integrar profundamente com ferramentas de gerenciamento de projetos. Além disso, agentes conversacionais tradicionais frequentemente dependem de estruturas rígidas baseadas em regras ou ferramentas de suporte à decisão isoladas que não funcionam como participantes integrados em fluxos de trabalho educacionais. Há uma necessidade de um sistema que possa não apenas compreender linguagem natural, mas também orquestrar tarefas, monitorar o progresso em plataformas heterogêneas (ex: GitHub, Trello) e adaptar-se dinamicamente ao ciclo de vida do projeto sem interromper os fluxos de trabalho existentes dos usuários.

Metodologia

O artigo apresenta o vProjTutor, um sistema de gerenciamento de projetos conversacional projetado para auxiliar equipes de estudantes ao longo de todo o ciclo de vida de desenvolvimento de software. O sistema substitui as arquiteturas tradicionais de Compreensão de Linguagem Natural (NLU) e gerenciamento de diálogo (como os sistemas baseados em Rasa usados no trabalho anterior dos autores) por uma arquitetura baseada em agentes de LLM.

Arquitetura do Sistema

O sistema é construído em torno de um módulo de orquestração central (vProjTutorCore) e um conjunto de agentes de LLM especializados. Os componentes principais incluem:

• Agentes Especializados: Um conjunto de agentes com missões distintas, incluindo o ConfigAgent (configuração do projeto), PlanningAgent (organização de tarefas), SprintsAgent (planejamento e distribuição de Sprints) e GitHubAgent (monitoramento de commits). Estes agentes utilizam Protocolos de Contexto de Modelo (MCPs) para interagir com ferramentas externas.
• Integrações Externas: O sistema integra-se com o Telegram (para comunicação de grupo e interação com o bot), Trello (para gerenciamento de quadro de tarefas via um MCP de terceiros) e GitHub (para monitoramento de código-fonte e commits via um MCP em TypeScript leve e customizado).
• Persistência de Dados: O módulo central utiliza um arquivo JSON para dados operacionais e um banco de dados SQLite para o histórico de mensagens, a fim de fornecer contexto aos agentes.

Gerenciamento do Ciclo de Vida do Projeto

O sistema gerencia projetos através de três fases definidas:

1. Configuração e Identificação de Tarefas: Os usuários fornecem declarações de projeto, detalhes de capacidade e credenciais de ferramentas via linguagem natural. O sistema guia a criação de um quadro no Trello com listas específicas (Análise, Design, Desenvolvimento, Teste, Documentação) e ajuda a estruturar tarefas com estimativas de esforço (story points) e predecessores.
2. Planejamento: Mediante solicitação, o sistema verifica a formatação das tarefas e invoca um planejador para gerar um cronograma. Ele organiza as tarefas em Sprints, atribui-as aos membros da equipe (otimizando a distribuição para tarefas não atribuídas) e atualiza o quadro do Trello adequadamente.
3. Rastreamento e Monitoramento: O sistema monitora o progresso via atualizações no Trello e, crucialmente, interpretando mensagens de commit do GitHub. Ele simula um "Daily Scrum" ao reportar proativamente o progresso e detectar contingências. O sistema opera sob demanda para minimizar a intrusividade, recuperando dinamicamente o estado atual das ferramentas externas antes de agir.

Modelo de Interação

Os usuários interagem via um bot do Telegram. O fluxo de trabalho envolve:

1. Entrada do usuário (mencionando o bot ou respondendo a uma mensagem).
2. vProjTutorCore identificando o contexto do projeto.
3. Um IntentionAgent determinando a intenção do usuário e filtrando solicitações fora do domínio.
4. Roteamento da solicitação para o agente especializado apropriado, que utiliza MCPs para executar ações em ferramentas externas.
5. Revezamento da resposta de volta para o grupo do Telegram.
   O sistema também suporta comandos diretos do Telegram (ex: /plan, /commits) como aceleradores e pode iniciar interações proativas (ex: resumos de Daily Scrum).

Principais Contribuições

O artigo delineia três contribções primárias:

1. Arquitetura de Agente de LLM para Gerenciamento de Projetos: Uma arquitetura inovadora que utiliza agentes de LLM especializados para lidar com o gerenciamento de projetos colaborativos, indo além da simples resposta a perguntas para a orquestração ativa de tarefas.
2. Integração com Ferramentas Convencionais: A integração bem-sucedida de agentes conversacionais com plataformas padrão de gerenciamento de projetos (Trello, GitHub) via Protocolos de Contexto de Modelo, permitindo o monitoramento contínuo e a intervenção adaptativa.
3. Avaliação de Usabilidade Empírica: Um estudo de usuário preliminar avaliando a utilidade prática e a usabilidade do sistema em um ambiente acadêmico.

Resultados

Um estudo de usuário foi conduzido com 10 participantes válidos (estudantes de ciência da computação, outros cursos de graduação e jovens profissionais) realizando quatro tarefas experimentais de complexidade crescente (Aquecimento, Refinamento, Planejamento Inicial e Relato de Commit).

• Conclusão de Tarefas: O sistema alcançou uma taxa de conclusão de tarefas global de 93,3%. Todos os participantes completaram com sucesso as tarefas mais complexas (Planejamento e interpretação de Commit).
• Pontuações de Usabilidade: O sistema recebeu uma pontuação geral na Escala de Usabilidade de Bot (BUS) de aproximadamente 85%. Dimensões específicas pontuaram alto:
  • Qualidade percebida das funções do chatbot: 87%
  • Qualidade percebida das conversas: 86%
  • O tempo de resposta foi a dimensão com menor pontuação, 74%, identificada como a principal limitação devido à latência das chamadas de LLM e serviços externos.
• Satisfação: O Net Promoter Score (NPS) foi 50, com 60% dos participantes classificados como promotores.
• Eficiência: Foi observada uma correlação negativa moderada entre a taxa de conclusão e o tempo de execução, sugerindo que os usuários que completaram mais tarefas tenderam a fazê-lo de forma mais eficiente. O consumo de tokens correlacionou-se com a duração da sessão, não com o sucesso da tarefa.
• Interpretação de Commit: O sistema interpretou corretamente aproximadamente 60% das mensagens de commit que não foram explicitamente endereçadas ao agente, demonstrando viabilidade, mas destacando a necessidade de maior robustez com linguagem natural não estruturada.

Significância e Alegações

Os autores afirmam que arquiteturas baseadas em agentes de LLM constituem uma abordagem promissora para apoiar projetos colaborativos em ambientes educacionais. O estudo demonstra que:

• Os LLMs podem substituir efetivamente os frameworks tradicionais de classificação de intenção (como o RASA) ao interpretar a intenção diretamente das entradas do usuário e selecionar ferramentas autonomamente via MCPs.
• Tais sistemas podem complementar os instrutores ao automatizar tarefas rotineiras de supervisão e coordenação, permitindo o gerenciamento eficaz de múltiplas equipes.
• O sistema proposto permite que os alunos interajam com fluxos de trabalho complexos de gerenciamento de projetos usando linguagem natural, preservando suas ferramentas e fluxos de trabalho existentes.

O artigo mantém um tom modesto quanto aos seus achados, caracterizando os resultados como "encorajadores" e "preliminares". Os autores reconhecem limitações, incluindo o pequeno tamanho da amostra, a curta duração das sessões de teste (30 minutos) e a falta de rastreamento longitudinal em ciclos de desenvolvimento reais de várias semanas. Os autores concluem que, embora a abordagem seja viável e eficaz para os cenários testados, trabalhos futuros são necessários para melhorar a orquestração de múltiplos agentes para consultas complexas e para realizar avaliações longitudinais em projetos acadêmicos reais.