TAMUSA-Chat: A Domain-Adapted Large Language Model Conversational System for Research and Responsible Deployment

Este artigo apresenta o TAMUSA-Chat, um quadro de pesquisa para desenvolver sistemas conversacionais de modelos de linguagem adaptados a contextos institucionais, combinando ajuste fino supervisionado, geração aumentada por recuperação e metodologias de avaliação para garantir transparência e conformidade com práticas de IA responsável.

O essencial

Imagine que você tem um chef de cozinha extremamente talentoso, chamado "Modelo de Linguagem". Esse chef aprendeu a cozinhar tudo o que existe na internet: ele sabe fazer desde sushi até pizza, pode falar sobre história, física e até contar piadas. O problema é que esse chef nunca trabalhou na sua escola, na sua faculdade ou na sua empresa.

Se você perguntar a ele: "Qual é o horário da aula de Matemática na sala 304?", ele vai tentar adivinhar. Ele pode inventar um horário que parece real, mas está errado. Isso é perigoso, porque os alunos podem perder a aula ou se frustrar.

O artigo "TAMUSA-Chat" conta a história de como os pesquisadores da Universidade Texas A&M–San Antonio (TAMUSA) ensinaram esse chef a cozinhar especificamente para a "cozinha" da universidade deles, sem perder o talento que ele já tinha.

Aqui está como eles fizeram isso, explicado de forma simples:

1. O Problema: O Chef Genérico vs. O Especialista

O chef original (o modelo de IA pronto) é ótimo, mas ele não conhece as regras da casa. Ele não sabe que a universidade mudou o nome de um curso semana passada, ou que o formulário de bolsa de estudos só funciona até sexta-feira. Se você pedir para ele responder perguntas sobre a faculdade, ele pode "alucinar" (inventar fatos) porque não tem acesso aos documentos reais da instituição.

2. A Solução: O "Estágio" Personalizado

Os pesquisadores criaram um sistema chamado TAMUSA-Chat. Pense nele como um estágio intensivo para o chef. Eles não recriaram o chef do zero (o que seria muito caro e demorado). Em vez disso, eles pegaram o chef talentoso e deram a ele um "livro de receitas" exclusivo da universidade.

Esse "livro de receitas" foi feito de três formas principais:

• Coletando os ingredientes: Eles usaram robôs (crawlers) para ler todos os sites públicos, PDFs, manuais e catálogos da universidade.
• Organizando a despensa: Eles transformaram esses textos brutos em um formato que a IA consegue entender facilmente, como cartões de perguntas e respostas.
• Treinamento (Ajuste Fino): Eles ensinaram o modelo a responder usando apenas essas informações confiáveis.

3. O Truque Mágico: A "Bíblia" de Apoio (RAG)

Aqui está a parte mais inteligente do sistema. Mesmo após o treinamento, a IA pode esquecer detalhes ou inventar coisas. Para evitar isso, o TAMUSA-Chat usa uma técnica chamada Geração Aumentada por Recuperação (RAG).

Imagine que o chef está cozinhando, mas, em vez de confiar apenas na memória, ele tem uma biblioteca ao lado dele.

1. Quando um aluno pergunta algo, o sistema primeiro vai até a biblioteca, procura o documento exato (o manual de 2024, o site de admissão, etc.).
2. Ele entrega esse documento para o chef ler.
3. Só então o chef responde, baseando-se estritamente no que acabou de ler.

Isso garante que, se a universidade mudar uma regra amanhã, basta atualizar a biblioteca. O chef não precisa ser re-treinado; ele apenas consultará a nova regra na próxima vez.

4. Por que isso é importante? (Responsabilidade e Ética)

O artigo enfatiza que, em uma universidade, a precisão é crucial.

• Transparência: O sistema diz de onde tirou a resposta (cita a fonte). É como se o chef dissesse: "Eu sei disso porque li no manual de admissões, página 15".
• Segurança: O sistema foi desenhado para não vazarm dados privados de alunos e para não inventar informações que poderiam causar problemas legais.
• Pesquisa Aberta: Diferente de muitos projetos que são apenas "caixas pretas", o TAMUSA-Chat é como uma receita aberta. Qualquer outra universidade pode pegar o código, adaptar para sua própria "cozinha" e testar se funciona melhor.

5. O Resultado

O resultado é um assistente virtual que:

• Fala a "língua" da universidade (usa os termos corretos).
• Sabe as regras atuais (não usa informações velhas).
• É honesto sobre o que sabe e o que não sabe.
• É seguro e ético.

Em resumo:
O TAMUSA-Chat não é apenas um "robô de chat". É uma ferramenta de pesquisa que mostra como transformar uma inteligência artificial genérica em um especialista confiável para um ambiente específico, garantindo que as respostas sejam baseadas em fatos reais e não em invenções. É como transformar um poliglota que fala tudo, mas não conhece sua cidade, em um guia turístico local que conhece cada rua, cada loja e cada regra de trânsito da sua comunidade.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "TAMUSA-Chat: A Domain-Adapted Large Language Model Conversational System for Research and Responsible Deployment", apresentado em português:

1. Problema e Motivação

O artigo aborda o desafio crítico de adaptar Modelos de Linguagem de Grande Escala (LLMs) de propósito geral para contextos institucionais específicos, como universidades.

• Limitações dos Modelos Genéricos: Modelos pré-treinados na web frequentemente geram respostas plausíveis, mas factualmente incorretas sobre políticas, programas acadêmicos e terminologia local. Eles carecem de consciência sobre mudanças organizacionais recentes e podem introduzir riscos de responsabilidade legal ao fornecer orientações autoritativas erradas.
• Falhas em Abordagens Existentes:
  • Engenharia de Prompt: É frágil e oferece pouco controle sobre os padrões de resposta.
  • Treinamento do Zero: Exige recursos computacionais proibitivos para a maioria das instituições.
  • Chatbots Educacionais Atuais: Muitas vezes focam na implantação de aplicações em detrimento de fluxos de trabalho de pesquisa reprodutíveis, transparência de dados e governança ética.
• Necessidade: Há uma lacuna para um framework aberto, modular e orientado à pesquisa que permita a experimentação sistemática com estratégias de ajuste fino (fine-tuning), curadoria de dados e avaliação, mantendo a conformidade com práticas de IA responsável.

2. Metodologia e Arquitetura do Sistema

O TAMUSA-Chat é apresentado como um framework de pesquisa que integra Ajuste Fino Supervisionado (SFT) e Geração Aumentada por Recuperação (RAG). A arquitetura é modular, dividida em cinco camadas funcionais:

A. Camada de Aquisição de Dados

• Coleta Automatizada: Utiliza o framework Playwright para raspar sites institucionais (TAMUSA), lidando com renderização dinâmica de JavaScript e conteúdo complexo.
• Fontes: Inclui páginas web, catálogos de cursos, manuais de políticas, perfis de pesquisa e notícias.
• Governança: Implementa salvaguardas rigorosas, incluindo coleta apenas de conteúdo público, detecção automática de Informações Pessoalmente Identificáveis (PII) e revisão por especialistas humanos para garantir precisão e segurança.

B. Camada de Processamento e Embedding

• Estruturação: Converte conteúdo heterogêneo (HTML, PDF, Word) em JSON estruturado, preservando hierarquia e metadados.
• Geração de Pares Instrução-Resposta: Cria um dataset de ~8.932 pares únicos através de:
  • Geração de perguntas baseada no conteúdo.
  • Extração de FAQs existentes.
  • Geração sintética de instruções (validada por humanos).
  • Reformulação para aumentar a diversidade linguística.
• Embeddings Vetoriais: Utiliza modelos sentence transformers (ex: all-MiniLM-L6-v2) para criar representações densas de trechos de texto (chunks), indexados no FAISS (usando HNSW) para busca semântica eficiente.

C. Camada de Ajuste Fino (Fine-Tuning)

• Modelos Base: Avalia modelos de código aberto como LLaMA-2, Mistral e Falcon. O experimento principal utiliza o SmolLM-135M-Instruct (135 milhões de parâmetros), escolhido por sua eficiência em dispositivos de borda e CPUs.
• Técnicas: Suporta tanto o ajuste fino completo quanto métodos eficientes de parâmetros (PEFT) como LoRA (Low-Rank Adaptation).
• Configuração: Hyperparâmetros (taxa de aprendizado, batch size, epochs) são gerenciados via arquivos YAML para reprodutibilidade. O treinamento é escalável, suportando GPUs individuais ou clusters HPC (ex: CAMSA Cluster) com distribuição de dados.

D. Camada de Inferência e Recuperação (RAG)

• Híbrido: Combina conhecimento paramétrico (aprendido no SFT) com conhecimento não paramétrico (recuperado dinamicamente).
• Fluxo:
  1. A consulta do usuário é codificada e buscada no índice FAISS (top-k chunks).
  2. O contexto recuperado é concatenado com a consulta e um prompt de sistema que enfatiza precisão e honestidade.
  3. O modelo gera a resposta com parâmetros de decodificação controlados (Temperature=0.7, Top-p=0.9).
  4. Citações: O sistema inclui referências aos documentos fonte para reduzir alucinações e aumentar a transparência.

E. Camada de Utilitários e Implantação

• Modularidade: Permite experimentação independente em cada componente.
• Implantação: Suporta serviços REST (FastAPI), interfaces web interativas (Gradio/Streamlit) e contêineres Docker para consistência entre desenvolvimento e produção.

3. Contribuições Principais

1. Framework de Pesquisa Reprodutível: Diferente de projetos focados apenas em aplicação, o TAMUSA-Chat prioriza a reprodutibilidade científica, com scripts versionados, protocolos de avaliação documentados e arquitetura extensível.
2. Pipeline de Dados Governado: Estabelece um processo rigoroso para a coleta e limpeza de dados institucionais, abordando questões de privacidade, PII e proveniência dos dados.
3. Abordagem Híbrida (SFT + RAG): Demonstra como combinar o ajuste fino para adaptação de domínio com a recuperação de documentos para ancorar fatos, equilibrando capacidade do modelo com acesso a informações verificáveis.
4. Código Aberto e Acessível: O código-fonte e os dados estão disponíveis publicamente no GitHub, facilitando a colaboração e o estudo de implantação de LLMs em instituições educacionais.
5. Análise de Custos e Recursos: Oferece insights sobre a eficiência de modelos menores (como o SmolLM-135M) em cenários institucionais, demonstrando viabilidade computacional.

4. Resultados e Estatísticas

• Corpus Institucional: O sistema foi construído a partir de 3.847 páginas web e 412 documentos (PDFs, etc.), resultando em 2,4 milhões de tokens limpos.
• Dataset de Treinamento: Gerou 8.932 pares únicos de instrução-resposta, com um comprimento médio de resposta de 127 tokens.
• Desempenho: O uso do modelo SmolLM-135M-Instruct mostrou que é possível obter desempenho robusto com requisitos computacionais razoáveis, permitindo experimentação em GPUs de nível de consumidor ou clusters institucionais menores.
• Qualidade: A integração de RAG reduziu significativamente o risco de alucinações, permitindo que o sistema cite fontes oficiais para respostas sobre políticas e programas.

5. Significado e Impacto

O trabalho do TAMUSA-Chat é significativo por várias razões:

• Para Instituições Educacionais: Fornece um roteiro prático para desenvolver assistentes de IA que entendem o contexto local, reduzindo o risco de desinformação e permitindo a automação segura de consultas administrativas e acadêmicas.
• Para a Pesquisa em IA: Preenche a lacuna entre a pesquisa algorítmica pura e a implantação prática, enfatizando a governança de dados, a auditoria ética e a reprodutibilidade.
• Responsabilidade e Ética: O sistema serve como um "campo de testes" para estudar a implantação de LLMs conscientes de governança, abordando diretamente preocupações sobre viés, privacidade e a necessidade de transparência nas decisões automatizadas.
• Sustentabilidade: Ao demonstrar a eficácia de modelos menores e técnicas de RAG, o trabalho sugere que instituições com recursos limitados podem adotar tecnologias de ponta sem depender de modelos massivos e custosos.

Em resumo, o TAMUSA-Chat não é apenas um chatbot, mas uma plataforma de pesquisa completa que valida a viabilidade de sistemas de IA conversacional adaptados a domínios específicos, éticos e reprodutíveis no ambiente acadêmico.