Developing an AI Assistant for Knowledge Management and Workforce Training in State DOTs

Este artigo propõe um sistema de assistente de IA baseado em uma arquitetura multiagente com Geração Aumentada por Recuperação (RAG) e modelos de visão-linguagem para otimizar a gestão do conhecimento e o treinamento da força de trabalho em departamentos estaduais de transporte, superando as limitações dos métodos tradicionais ao integrar recuperação de documentos técnicos, análise de figuras e geração de respostas contextualizadas.

O essencial

Imagine que os Departamentos de Transporte dos Estados (como o TxDOT ou o Caltrans) são como bibliotecas gigantescas e bagunçadas, onde os livros são manuais técnicos, relatórios de engenharia e gráficos complexos sobre estradas.

O problema é que, quando os engenheiros experientes se aposentam, eles levam consigo o "segredo" de como ler esses livros. Os novos funcionários ficam perdidos, tentando encontrar informações em montanhas de papel (ou PDFs) para resolver problemas urgentes, como consertar um buraco na pista ou decidir qual material usar. É como tentar achar uma agulha em um palheiro, mas o palheiro é do tamanho de um estado inteiro.

Este artigo apresenta uma solução inteligente: um Assistente de IA "Super-Equipe" que funciona como um detetive particular para essas bibliotecas.

Aqui está a explicação simples de como funciona, usando analogias do dia a dia:

1. O Problema: A Biblioteca Cega

Antes, os sistemas de computador só conseguiam "ler" texto. Se um engenheiro perguntasse sobre um gráfico que mostrava a durabilidade de um asfalto, o computador ficava cego, porque não conseguia entender a imagem. Era como se a biblioteca tivesse livros com páginas de texto, mas as fotos e gráficos estivessem em um compartimento trancado que ninguém sabia abrir.

2. A Solução: O "Tradutor de Imagens"

A primeira inovação deste sistema é um tradutor mágico. Antes de guardar os documentos, o sistema olha para cada gráfico, tabela e foto e escreve uma descrição detalhada em linguagem humana.

• Analogia: Imagine que você tem um livro de receitas com fotos de pratos. O sistema pega a foto do bolo, olha para ele e escreve: "Este é um bolo de chocolate com cobertura de morango, assado a 180 graus por 40 minutos". Agora, o computador consegue "ler" a foto como se fosse texto.

3. O Coração do Sistema: A "Super-Equipe" de Detetives (Multi-Agentes)

A maioria dos assistentes de IA funciona como um único funcionário: você pergunta, ele procura e responde. Se ele errar, você fica com a resposta errada.

Este sistema, no entanto, funciona como uma equipe de detetives especializada, onde cada um tem uma função específica:

1. O Recepcionista (Agente do Usuário): Pega sua pergunta e a passa para a equipe.
2. O Bibliotecário (Agente de Busca): Vai até a biblioteca (o banco de dados) e traz os documentos mais relevantes.
3. O Escritor (Agente Gerador): Lê o que o bibliotecário trouxe e escreve uma resposta clara e simples.
4. O Chefe de Controle de Qualidade (Agente Avaliador): Lê a resposta do Escritor e diz: "Isso está claro? Está correto? O iniciante vai entender?".
   • Se estiver bom: Entrega a resposta.
   • Se estiver ruim: Chama o próximo agente.
5. O Revisor de Perguntas (Agente Refinador): Se o Chefe de Qualidade disser que a resposta está ruim, este agente pensa: "Talvez a pergunta original tenha sido mal feita. Vou reformular a pergunta para achar a resposta certa".
6. O Ciclo: O sistema volta a procurar com a nova pergunta. Ele faz isso até encontrar a resposta perfeita.

Analogia: É como se você fosse a um restaurante e o garçom trouxesse um prato errado. Em vez de comer e reclamar depois, o Chefe de Qualidade prova, diz "não, isso não é o que eu pedi", e o Revisor de Perguntas manda o garçom voltar à cozinha com uma ordem mais clara até que o prato perfeito saia.

4. Os Resultados: A Prova de Fogo

Os pesquisadores testaram essa "Super-Equipe" com mais de 500 documentos reais de engenharia de estradas e 100 perguntas difíceis.

• O resultado: O sistema achou a informação correta em 94,4% das vezes, apenas olhando os 3 primeiros documentos que encontrou.
• Comparação: Um sistema antigo (de "passada única") achava a resposta correta apenas 58% das vezes, mesmo procurando em 5 documentos.

Por que isso é importante?

• Segurança: Evita que engenheiros novatos tomem decisões erradas por falta de informação.
• Memória: Salva o conhecimento dos engenheiros que vão se aposentar, transformando a experiência deles em um banco de dados acessível para todos.
• Velocidade: Em vez de passar horas procurando em PDFs, o funcionário faz uma pergunta e recebe a resposta baseada em fatos reais, não em "alucinações" da IA.

Resumo Final:
Este projeto criou um assistente de IA que não apenas "lê" textos, mas também "enxerga" gráficos, e que trabalha em equipe para garantir que a resposta seja sempre precisa. É como ter um engenheiro sênior experiente, que nunca se aposenta e está disponível 24 horas por dia para ensinar os novos funcionários a resolver problemas nas estradas.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo em português, estruturado conforme solicitado:

Título: Desenvolvimento de um Assistente de IA para Gestão de Conhecimento e Treinamento de Força de Trabalho em Departamentos de Transporte Estaduais (State DOTs)

1. O Problema

Os Departamentos de Transporte Estaduais (State DOTs) enfrentam desafios críticos na gestão do conhecimento (KM) e no treinamento de sua força de trabalho:

• Perda de Expertise Institucional: Com a aposentadoria de engenheiros seniores, o conhecimento tácito e a experiência acumulada estão sendo perdidos.
• Ineficiência na Transferência de Conhecimento: As abordagens tradicionais (documentação estática, aulas presenciais e mentoria informal) resultam em transferência de conhecimento fragmentada e curvas de aprendizado íngremes para novos funcionários.
• Dificuldade de Recuperação de Informação: A vasta quantidade de manuais técnicos, diretrizes e relatórios de pesquisa (muitas vezes em formatos não estruturados ou contendo figuras críticas) torna difícil para os engenheiros localizar informações relevantes rapidamente para resolver problemas de campo.
• Limitações dos Modelos de Linguagem (LLMs) Puros: O uso direto de LLMs sem contexto externo gera alucinações e respostas desatualizadas, o que é inaceitável em domínios de alta responsabilidade como a engenharia de infraestrutura.

2. Metodologia

O artigo propõe um framework RAG (Geração Aumentada por Recuperação) Multi-Agente com arquitetura especializada e capacidade de processamento multimodal (texto e imagem).

• Pré-processamento de Figuras (Visão-Linguagem):

  • Reconhecendo que figuras técnicas (gráficos, diagramas) contêm informações críticas não totalmente descritas no texto, o sistema utiliza um modelo de visão-linguagem (VLM) aberto (Qwen3-VL-2B-Instruct).
  • O VLM converte figuras em representações textuais semânticas ricas, incluindo legendas, descrições detalhadas de tendências, variáveis e interpretações qualitativas.
  • Essas descrições são indexadas junto com os blocos de texto no banco de dados vetorial, permitindo que o sistema recupere conhecimento baseado em imagens.

• Arquitetura Multi-Agente (Agentic RAG):
  Diferente do RAG de "passada única", o sistema utiliza o framework AutoGen para orquestrar quatro agentes especializados que colaboram iterativamente:

  1. User Proxy Agent: Recebe e encaminha a consulta do usuário.
  2. Retriever Agent: Busca documentos relevantes no banco de dados vetorial (texto e descrições de figuras) usando similaridade de cosseno.
  3. Generator Agent: Formula a resposta inicial baseada apenas no contexto recuperado, garantindo clareza e citação de fontes.
  4. Evaluator Agent: Avalia a resposta gerada quanto à clareza, relevância e completude.
  5. Query Refiner Agent: Se a avaliação for insatisfatória, este agente refina a consulta original e reativa o processo de recuperação (loop de refinamento), evitando alucinações e melhorando a precisão.

• Modelos Utilizados:

  • Embedding: all-MiniLM-L6-v2 (384 dimensões).
  • Geração de Resposta Final: Qwen3-4B-Instruct-2507.
  • Banco de Dados Vetorial: ChromaDB.

3. Contribuições Principais

• Abordagem Multimodal para Engenharia: É uma das primeiras aplicações a tratar figuras técnicas como unidades de conhecimento recuperáveis, e não apenas como ilustrações auxiliares, permitindo que tendências e dados visuais influenciem diretamente a geração de respostas.
• Arquitetura Multi-Agente com Controle de Qualidade: A introdução de um ciclo de feedback entre agentes de avaliação e refinamento de consulta supera as limitações de sistemas RAG tradicionais de passagem única, simulando o raciocínio humano iterativo.
• Foco em Domínio Específico (DOTs): O sistema é projetado especificamente para o contexto de manutenção de pavimentos e gestão de ativos, garantindo que as respostas sejam fundamentadas em documentação oficial da agência.
• Viabilidade de Implantação: O sistema foi projetado para operar com infraestrutura de computação padrão (baixo custo), sem necessidade de hardware especializado, tornando-o acessível para agências públicas.

4. Resultados

O sistema foi validado através de um estudo de caso utilizando 521 documentos técnicos de múltiplos State DOTs (focados em manutenção de pavimentos) e um conjunto de 100 consultas específicas do domínio.

• Métricas de Recuperação:
  • Recall@3: 94,4%. Isso indica que o sistema recuperou quase todas as evidências relevantes dentro dos três primeiros resultados.
  • Precision@3: ~1,0 (100%). Todos os documentos recuperados nos top 3 foram relevantes.
• Comparação com Baseline:
  • Um sistema RAG de "passada única" (sem agentes de refinamento) alcançou apenas um Recall@5 de 58%.
  • O sistema Multi-Agente demonstrou superioridade significativa ao recuperar evidências críticas que seriam perdidas em uma única tentativa, graças ao loop de refinamento de consultas.
• Estabilidade: As métricas mostraram consistência estável através de diferentes tópicos de consulta.

5. Significância e Limitações

• Significância: O estudo demonstra que a combinação de RAG Multi-Agente com processamento de figuras via VLM é altamente eficaz para preservar o conhecimento institucional e acelerar o treinamento de engenheiros em agências de transporte. O sistema reduz a dependência de especialistas individuais e fornece respostas fundamentadas e verificáveis, essenciais para a segurança pública e tomada de decisão.
• Limitações:
  • Escopo do Dataset: A validação foi feita apenas com documentos de engenharia de pavimentos. A generalização para outras áreas (pontes, tráfego, segurança) ainda precisa ser testada.
  • Automação de Figuras: O pré-processamento de figuras ainda envolve etapas manuais (captura de tela e geração de descrições) em vez de um pipeline totalmente automatizado, o que limita a escalabilidade imediata.
• Trabalho Futuro: Expandir o corpus para incluir outras áreas de engenharia de transporte e automatizar completamente o pipeline de extração de figuras.

Em suma, o artigo apresenta uma solução robusta e validada empiricamente para modernizar a gestão de conhecimento em agências de transporte, utilizando IA generativa avançada com mecanismos de controle rigorosos para garantir precisão e confiabilidade.