Resumo Técnico: CANDI – Alinhamento Contextual para Resposta a Perguntas em Domínios de Nicho

Declaração do Problema

A crescente implementação de Modelos de Linguagem de Grande Escala (LLMs) em domínios especializados e de alto risco, como diagnósticos médicos e consultoria financeira, revela uma lacuna crítica: embora os modelos possuam conhecimento geral, eles frequentemente falham em alcançar o alinhamento contextual. Isso se refere à capacidade de um modelo de adaptar suas respostas ao contexto específico de uma conversa, incluindo a disciplina de domínio do usuário, o papel profissional, o nível de especialização técnica e o tópico exato em questão.

Benchmarks tradicionais de QA (ex: SQuAD, Natural Questions) focam na recuperação de fatos de domínio aberto e oferecem insights limitados sobre como os modelos lidam com o raciocínio matizado, consciente do papel e situacional, exigido em aplicações empresariais. Especificamente, o artigo aborda os desafios enfrentados pelas equipes de Sistemas de Suporte Multinível (MTSS) em escolas para Saúde Comportamental. Essas equipes multidisciplinares (incluindo administradores, conselheiros, professores e clínicos) frequentemente carecem de acesso imediato a coaches especialistas devido a restrições de recursos. Os LLMs atuais têm dificuldade em fornecer a orientação precisa e sensível ao contexto necessária para que essas equipes implementem os frameworks de MTSS de forma eficaz através de três níveis de intervenção (Universal, Direcionada e Intensiva).

Metodologia: CANDI-QA

Para abordar essa lacuna, os autores introduzem o CANDI-QA (Contextual Alignment for Niche Domains Question Answering), um novo conjunto de dados e framework de avaliação projetado para testar LLMs no domínio MTSS(B).

1. Curadoria do Conjunto de Dados

O conjunto de dados compreende 315 perguntas curadas por especialistas derivadas da School Behavioral Health Academy (SBHA), categorizadas em dois tipos distintos:

• T1: Perguntas de Assistência de Informação (90 itens): Consultas diretas e factuais que exigem extração precisa de informações de literatura especializada (ex: melhores práticas, protocolos baseados em evidências). Estas possuem respostas "padrão-ouro" fornecidas por especialistas humanos.
• T2: Perguntas de Inferência Aplicada (225 itens): Perguntas de raciocínio complexas e de múltiplos passos baseadas em casos ou cenários específicos de estudantes. Estas exigem inferência baseada em pistas específicas de papéis e contexto situacional para gerar insights acionáveis. Estas perguntas não possuem respostas únicas de padrão-ouro.

2. Estratégias de Prompting

O estudo avalia o desempenho do modelo através de três estratégias de prompting para determinar o impacto do contexto:

• P1 (Sem Contexto): O modelo recebe apenas a consulta do usuário (Zero-shot).
• P2 (Consciente do Papel): O prompt do sistema inclui o papel específico do usuário (ex: Professor, Conselheiro) e uma descrição desse papel.
• P3 (Consciente da Tarefa): O prompt do sistema inclui o objetivo de alto nível da IA, o papel do usuário e a descrição do papel, situando a consulta dentro da tarefa mais ampla de implementação do MTSS.

3. Framework de Avaliação

A avaliação emprega uma abordagem de duas frentes adaptada aos tipos de perguntas:

• Para Perguntas T1: Métricas baseadas em referência são usadas contra respostas padrão-ouro, incluindo Similaridade de Cosseno, BERTScore, MoverScore e BLEURT.
• Para Perguntas T2: Um framework de avaliação de Geração Aumentada de Recuperação (RAG) usando a biblioteca RAGAs é empregado. Como as respostas padrão-ouro não estão disponíveis, as respostas geradas pelo modelo Qwen servem como o "contexto recuperado" para avaliação. As métricas incluem Precisão do Contexto, Relevância da Resposta, Fidelidade (consistência factual com o contexto) e Similaridade Semântica.

4. Solução de Linha de Base (Baseline): MTSS-Net

Para estabelecer uma linha de base robusta, os autores propõem o MTSS-Net, um framework neuro-simbólico leve que combina recuperação neural com raciocínio baseado em regras. Ele apresenta duas variantes:

• v1: Codifica instâncias de QA como objetos JSON estruturados (Tipo de tarefa, Papel, Nível de Intervenção, Referências de política) para suportar o raciocínio simbólico baseado em regras.
• v2: Melhora a v1 com pares de QA curados, condicionamento explícito de papel e atribuição de fonte para melhorar a transparência e o raciocínio fundamentado.

Configuração Experimental

Os autores avaliaram 10 modelos de linguagem diversos, variando de sistemas de código aberto compactos (ex: LLaMA 3.2 1B, Phi-4-mini 3.8B) a modelos proprietários de última geração e de código aberto maiores (ex: Qwen3 32B, variantes LLaMA 4, Deepseek R1). Todos os modelos foram testados através das três estratégias de prompting (P1, P2, P3) no conjunto completo de dados CANDI-QA.

Principais Resultados

Desempenho T1 (Assistência de Informação)

• O Tamanho do Modelo Importa: Modelos maiores geralmente superaram os menores. O Qwen3 (32B) alcançou consistentemente a maior similaridade semântica (Similaridade de Cosseno: ~0.43) em todas as métricas.
• Impacto do Prompting: O prompting consciente do papel (P2) gerou melhorias modestas em relação ao zero-shot (P1). No entanto, adicionar contexto de nível de tarefa (P3) proporcionou ganhos marginais para consultas factuais diretas, sugerindo que, para tarefas T1, o valor principal reside na recuperação do conhecimento inerente do modelo, e não no enquadramento contextual complexo.
• Piores Desempenhos: Modelos menores como LLaMA 3.2 (1B) e Phi-4-mini (3.8B) tiveram dificuldades significativas em comparação com seus equivalentes maiores.

Desempenho T2 (Inferência Aplicada)

• Contexto é Crítico: Todos os modelos mostraram melhoria significativa ao passar do prompting P1 para o P3 (Consciente da Tarefa).
• Melhor Desempenho: O Mistral 7B Instruct alcançou os melhores resultados na categoria T2, particularmente em Fidelidade (0.8014) e Similaridade Semântica (0.8336) sob a estratégia P3.
• Capacidade de Raciocínio: Os resultados indicam que as tarefas T2 exigem mais do que simples recuperação; elas se beneficiam fortemente de um prompting estruturado, consciente do papel e da tarefa, para suportar um raciocínio fundamentado e sensível ao cenário.

Significância e Alegações

O artigo posiciona o CANDI-QA como um novo benchmark crítico para avançar a pesquisa em modelos de linguagem conscientes do contexto e alinhados ao usuário. Suas principais contribuições e alegações incluem:

1. Destacar as Limitações dos LLMs Atuais: O estudo demonstra que um forte desempenho em benchmarks gerais não garante o alinhamento com as preferências de especialistas em domínios de nicho. Os modelos atuais lutam para alcançar um verdadeiro alinhamento contextual sem integração aprimorada ou raciocínio simbólico.
2. A Necessidade de Alinhamento Contextual: Os autores argumentam que, para aplicações empresariais e educacionais, alinhar as respostas ao papel específico do usuário e ao contexto da conversa não é opcional, mas uma necessidade para a utilidade no mundo real.
3. Valor de Abordagens Híbridas: A introdução do MTSS-Net destaca o potencial de abordagens neuro-simbólicas (combinando redes neurais com lógica baseada em regras) para fornecer raciocínio transparente, interpretável e fundamentado em domínios de alto risco onde LLMs de "caixa preta" podem ser insuficientes.
4. Benefícios de Dados Estruturados: Os achados sugerem que aumentar os conjuntos de dados de QA com contexto estruturado (ex: metadados de papel e tarefa baseados em JSON) melhora significativamente o desempenho e a interpretabilidade do modelo, particularmente para tarefas intensivas de inferência.

Os autores concluem que, embora as estratégias de prompting (especificamente P3) ofereçam melhorias, alcançar uma IA robusta e confiável para domínios de alto risco como a Saúde Comportamental exige ir além do simples prompting, movendo-se em direção a arquiteturas híbridas e metodologias de avaliação mais rigorosas e específicas do domínio. O artigo se compromete a liberar o conjunto de dados CANDI-QA, o baseline MTSS-Net e os scripts de avaliação para apoiar a reprodutibilidade e pesquisas futuras.