Resumo Técnico: SousCoder – Detecção de Confusão entre Aplicações para Assistência Proativa ao Desenvolvedor

1. Declaração do Problema

O desenvolvimento de software moderno exige uma alternância constante de contexto entre um Ambiente de Desenvolvimento Integrado (IDE), navegadores web para documentação/busca e terminais para monitoramento de build/tempo de execução. Os atuais assistentes de codificação baseados em IA (ex: GitHub Copilot, Cursor) são fundamentalmente reativos: eles apenas fornecem assistência quando um desenvolvedor formula explicitamente uma consulta. Este processo é cognitivamente caro e temporalmente dispendioso, pois os desenvolvedores devem reconhecer seu estado de "travamento", mudar de contexto e articular o problema.

Embora trabalhos anteriores como o CodingGenie (FSE 2025) tenham introduzido sugestões proativas dentro do VS Code, eles operam em uma única fonte de dados (contexto da IDE), disparam após cada alteração de código independentemente de o desenvolvedor estar realmente travado e carecem de memória persistente entre sessões. Há uma necessidade de um sistema que possa detectar estados genuínos de "confusão" sintetizando sinais comportamentais através de múltiplas aplicações e intervir proativamente sem solicitação do usuário, preservando a privacidade do desenvolvedor.

2. Metodologia e Design do Sistema

2.1 Visão Geral da Arquitetura

O SousCoder é um assistente de desenvolvedor proativo local-first, construído como uma aplicação desktop nativa (Tauri 2.0 + React 18) com um backend Python asyncio. Ele opera sobre três fontes de dados simultâneas:

1. Extensão do VS Code (TypeScript): Monitora salvamentos de arquivos, aparições/resoluções de erros e grandes deleções via API do VS Code.
2. Extensão do Chrome Browser (MV3): Rastreia consultas de busca e visitas repetidas a domínios de desenvolvimento (ex: Stack Overflow, MDN) via content scripts.
3. Watcher de Terminal (Python): Conecta-se ao .zshrc/.bashrc para capturar comandos e códigos de saída via um pipe nomeado.

Essas fontes alimentam um pipeline de eventos unificado que normaliza os dados em um esquema SousCoderEvent, deduplica eventos dentro de uma janela de 30 segundos e mantém um histórico rotativo de 500 eventos.

2.2 Detecção de Confusão e Modos de Intervenção

A inovação central é um score de confusão ponderado derivado de sinais comportamentais entre aplicações. O sistema opera em dois modos distintos:

• Modo Ativo (Active Mode): Dispara após eventos de código significativos (erros, salvamentos) com um cooldown de 30 segundos por template de erro. Fornece sugestões contínuas e de limiar inferior.
• Modo Stealth (Stealth Mode): Dispara apenas quando um score de confusão ponderado excede um limiar de 0,65. Este score é calculado a partir de quatro regras específicas:
  1. Loop de Erro: O mesmo erro do VS Code ocorre duas vezes em 10 minutos (Peso: 0,80).
  2. Loop de Erro no Terminal: O mesmo comando falha duas vezes em 10 minutos (Peso: 0,75).
  3. Ociosidade Após Stack: Stack trace seguido de 3 minutos sem progresso (Peso: 0,70).
  4. Busca Repetida: Mesma consulta de busca no navegador realizada três vezes em 15 minutos (Peso: 0,65).

O Modo Stealth inclui um cooldown de 7 minutos para evitar a fadiga de interrupção.

2.3 Modelagem de Contexto e Memória

• Grafo de Intenção (Kuzu): Um banco de dados de grafos local incorporado modela o objetivo atual do desenvolvedor, a tarefa ativa e o principal bloqueador em tempo real. A cada 60 segundos ou após eventos significativos, um LLM local infere esses estados a partir da atividade recente e atualiza o grafo.
• Memória Vetorial (Qdrant): Resumos de sessão são transformados em embeddings usando nomic-embed-text e armazenados localmente. Durante a intervenção, o sistema recupera as três sessões passadas mais similares (similaridade de cosseno > 0,72) para fornecer contexto personalizado.
• Mecanismo de Inferência: Toda a inferência roda localmente via Ollama usando mistral:7b-instruct. Um fallback na nuvem (Anthropic Claude) está disponível, mas é opcional e consciente da privacidade (transmitindo apenas descrições estruturadas do bloqueador, não o código bruto).

2.4 Geração de Intervenção

O sistema constrói prompts estruturados combinando o grafo de intenção, contexto de memória, erros recentes e conteúdo do arquivo ativo. Um validador filtra as saídas para garantir que sejam concisas, acionáveis e evitem falhas comuns de LLM (ex: começar com "Eu", terminar com perguntas). As intervenções são renderizadas em um painel flutuante não modal do Tauri.

3. Principais Contribuições

O artigo reivindica cinco contribuições primárias:

1. Detecção de Confusão entre Aplicações: Um modelo que integra sinais de IDE, navegador e terminal para identificar estados de travamento sem entrada do usuário.

• Arquitetura de Duplo Modo: Uma comparação controlada entre assistência disparada por eventos contínuos (Ativo) e assistência disparada por confusão (Stealth).

3. Implementação Local-First: Inferência, armazenamento e recuperação totalmente no dispositivo, garantindo privacidade e capacidade offline.
4. Grafo de Intenção ao Vivo: Um banco de dados de grafos em tempo real que modela objetivos e bloqueadores do desenvolvedor para estruturar o contexto do LLM.
5. Avaliação Empírica: Uma combinação de benchmarks de latência e uma implantação de campo de duas semanas com verdade fundamental rotulada por humanos e avaliação de relevância via LLM-as-judge.

4. Resultados

4.1 Latência e Correção Diagnóstica

• Latência: Ambos os modos cumpriram a meta de interatividade inferior a 8 segundos.
  • Modo Stealth: Latência mediana de 3,31 segundos.
  • Modo Ativo: Latência mediana de 4,90 segundos.
• Correção: Em cenários controlados (injeção de SQL, importação ausente, configuração incorreta de middleware de TypeScript), o modelo local mistral:7b-instruct diagnosticou corretamente todos os problemas sem assistência da nuvem.

4.2 Implantação de Campo (Estudo de Duas Semanas)

Uma implantação de sujeito único (100 sessões rotuladas) gerou as seguintes métricas para o detector de confusão:

• Precisão: 78,1%
• Recall (Revocação): 69,4%
• F1 Score: 0,735
• Taxa de Falso Positivo: 10,9% (O alvo era <20%)

Sensibilidade do Limiar: Reduzir o limiar para 0,22 (disparo de regra única) aumentou o recall para 100% e o F1 para 0,911 sem aumentar a taxa de falsos positivos neste conjunto de dados específico, embora os autores alertem que isso pode não se manter para conjuntos de dados mais amplos e variados.

4.3 Relevância da Intervenção

Usando um protocolo de LLM-as-judge (Claude), 88 intervenções foram avaliadas quanto à relevância:

• Modo Ativo: 59,6% relevantes.
• Modo Stealth: 58,3% relevantes.
• Frequência: O Modo Stealth disparou aproximadamente duas ordens de magnitude menos frequentemente que o Modo Ativo, demonstrando sua capacidade de reduzir a interrupção mantendo alta relevância.

5. Significância e Alegações

O artigo posiciona o SousCoder como uma extensão do CodingGenie, abordando suas limitações ao adicionar percepção entre aplicações, detecção de estado de confusão e memória persistente.

• Diferenciação: O sistema captura de forma única sinais comportamentais invisíveis para ferramentas exclusivas de IDE (ex: buscas repetidas no navegador), que servem como fortes indicadores de tentativas de resolução falhas.
• Custo de Interrupção: Os resultados sugerem que a intervenção mediada por confusão (Modo Stealth) preserva a utilidade enquanto reduz substancialmente a frequência de interrupção em comparação com a assistência contínua disparada por eventos.
• Privacidade: O sistema demonstra que uma assistência proativa capaz pode ser alcançada inteiramente no dispositivo usando modelos locais quantizados, evitando a transmissão de código ou dados sensíveis para provedores de nuvem.
• Trabalhos Futuros: Os autores observam que o limiar de confusão ideal é provavelmente individual e dependente da tarefa, motivando pesquisas futuras sobre aprendizado de limiar adaptativo por desenvolvedor.

O estudo reconhece limitações, incluindo sua natureza de sujeito único, o uso de um juiz LLM em vez de métricas de aceitação humana para relevância e o caráter heurístico dos pesos das regras. No entanto, estabelece um framework fundamental para assistência ao desenvolvedor proativa e preservadora de privacidade, que vai além dos modelos reativos de consulta-resposta.