LLM Enhancement with Domain Expert Mental Model to Reduce LLM Hallucination with Causal Prompt Engineering

No mundo da inteligência artificial, os grandes modelos de linguagem tornaram-se notavelmente habilidosos em ler, escrever e resumir vastas quantidades de informação. Eles podem explicar teorias científicas complexas, redigir documentos jurídicos e até escrever código. No entanto, esses sistemas possuem um ponto cego fundamental: eles só podem trabalhar com o conhecimento que já foi escrito e inserido em seus dados de treinamento. Diante de uma decisão que depende de intuição não escrita, contexto organizacional específico ou uma combinação única de circunstâncias que nunca foi registrada, o modelo não simplesmente admite que não sabe. Em vez disso, ele frequentemente inventa uma resposta confiante, mas falsa, um fenôamente conhecido como alucinação. Isso não é um erro que possa ser corrigido buscando mais documentos; é um limite estrutural. Se o conhecimento não existe em um banco de dados, a máquina não pode encontrá-lo. Para decisões de alto risco em campos como medicina, segurança nacional ou financiamento de pesquisa, essa lacuna entre o que a máquina sabe e o que um especialista humano sabe pode ser perigosa.

Os pesquisadores Boris Kovalerchuk e Brent D. Fegley propuseram uma nova maneira de preencher essa lacuna. Em vez de tentar tornar a inteligência artificial mais inteligente ou dar-lhe mais livros para ler, eles sugerem a construção de um mapa específico e estruturado de como um especialista humano realmente pensa. Eles chamam isso de Modelo Mental de Especialista. A ideia central é parar de pedir à máquina para adivinhar a resposta e, em vez disso, usar a máquina como uma ferramenta para ajudar o especialista a articular sua própria lógica de decisão. Ao transformar o julgamento intuitivo de um humano em um conjunto claro e passo a passo de regras, o sistema pode então aplicar essas regras a novas situações sem nunca precisar alucinar. Essa abordagem trata o problema não como uma falha da memória da máquina, mas como uma falha em capturar o processo de raciocínio específico do humano.

Os pesquisadores testaram essa ideia em três campos muito diferentes: decidir se deve se candidatar a uma bolsa de pesquisa, projetar um sistema de cibersegurança e fazer diagnósticos clínicos. No primeiro cenário, uma equipe de pesquisadores precisava decidir se deveria gastar meses escrevendo uma proposta para uma agência de fomento. A decisão dependia de muitos fatores, como se a equipe tinha as habilidades certas, se o projeto se ajustava aos objetivos da agência e se eles tinham tempo suficiente. Uma inteligência artificial padrão poderia gerar uma lista de perguntas para fazer, mas não conseguiria determinar como pesar essas respostas. Se a equipe dissesse "sim" para ter as habilidades, mas "não" para ter o orçamento, a máquina poderia supor que o projeto ainda era viável, ou poderia supor que não era. A máquina não tinha como saber que, para essa equipe específica, o orçamento era um fator impeditivo, enquanto para outra equipe, poderia ser um obstáculo menor.

Para resolver isso, os pesquisadores utilizaram um método que se baseia em um princípio simples: se uma situação é boa o suficiente para dizer "sim", tornar qualquer parte dela melhor não deve transformar a resposta em "não". Isso é chamado de monotonicidade. Imagine uma equipe de especialistas respondendo a uma série de perguntas de sim ou não sobre um projeto. Se eles decidirem que um projeto com uma ótima ideia, mas sem dinheiro, é um "não", então um projeto com uma ótima ideia, sem dinheiro e também sem membros na equipe, também deve ser um "nã". Ao usar essa lógica, os pesquisadores puderam fazer muito menos perguntas do que o normalmente seria necessário. Em vez de perguntar sobre cada possível combinação de fatores — que poderia chegar a milhões para uma decisão complexa — eles fizeram um conjunto cuidadosamente escolhido de perguntas. As respostas a essas perguntas permitiram inferir as respostas a milhares de outros cenários automaticamente.

No exemplo da proposta de bolsa, a equipe começou com vinte perguntas potenciais. Uma inteligência artificial ajudou a organizá-las em uma hierarquia, agrupando perguntas relacionadas. Em seguida, o especialista humano respondeu a um pequeno número de perguntas generalizadas. Por exemplo, em vez de responder a cada detalhe sobre recursos, o especialista poderia responder a uma pergunta ampla sobre se a equipe estava pronta. Se a resposta fosse "não", o sistema sabia imediatamente que nenhum detalhe adicional era necessário para rejeitar o projeto. Se a resposta fosse "sim", o sistema mergulharia nos detalhes específicos. Através de apenas quatro rodadas de questionamento, os pesquisadores foram capazes de mapear a lógica de decisão do especialista para mais de 60 por cento de todos os cenários possíveis. Os cenários restantes foram agrupados em torno dos casos limítrofes difíceis, onde a decisão é incerta, que é exatamente onde o julgamento humano é mais valioso.

Os pesquisadores também testaram este método em cibersegurança, onde as regras são frequentemente definidas por padrões governamentais. Neste caso, a inteligência artificial podia extrair as regras padrão de um documento, mas ainda precisava de um especialista humano para aplicar essas regras aos dados específicos de uma organização em particular. O sistema ajudou o especialista a determinar o impacto de uma violação de segurança em sua rede específica, traduzindo preocupações vagas em um modelo estruturado. Na terceira área, a saúde, os pesquisadores revisaram estudos passados onde métodos semelhantes foram usados para diagnosticar câncer de mama. Eles descobriram que, quando as regras de decisão eram extraídas diretamente dos radiologistas usando essa abordagem estruturada, os modelos resultantes eram mais precisos e consistentes do que aqueles construídos puramente a partir de dados. Os modelos podiam explicar por que uma decisão foi tomada, rastreando-a até fatores específicos, o que é crucial para médicos que precisam confiar no sistema.

Uma parte crítica deste trabalho foi medir a frequência com que a inteligência artificial erraria se deixada por conta própria. Os pesquisadores criaram simulações onde compararam as decisões de um especialista humano contra os palpites de uma inteligência artificial. Eles descobriram que, embora a taxa de erro geral pudesse parecer pequena, os erros estavam concentrados nos casos mais importantes. Quando o especialista teria dito "sim" para um projeto, a inteligência artificial frequentemente dizia "não", perdendo a oportunidade inteiramente. Em algumas simulações, a taxa de erro para essas oportunidades perdidas aproximava-se de 100 por cento. Isso revelou que o perigo da alucinação não é apenas cometer erros aleatórios; é falhar sistematicamente em reconhecer os casos raros e de alto valor que exigem conhecimento específico e não escrito.

Os pesquisadores argumentam que a solução não é tentar tornar a inteligência artificial mais parecida com um humano, mas usar a inteligência artificial para ajudar os humanos a codificar seu próprio pensamento. A máquina é excelente em gerar listas de fatores, organizar em grupos lógicos e verificar a consistência. Ela é péssima em saber o que importa para uma equipe ou organização específica. Ao combinar os dois, o sistema cria uma ferramenta de suporte à decisão que é tanto computacionalmente eficiente quanto fundamentada na experiência humana real. A inteligência artificial cuida do trabalho pesado de estrutura e organização, enquanto o humano fornece os valores e a lógica específicos que tornam a decisão significativa.

Esta abordagem também ajuda a prevenir um risco sutil conhecido como homogeneização cognitiva, onde todos começam a tomar decisões da mesma maneira porque estão todos usando a mesma inteligência artificial. Se uma organização depender exclusivamente de um modelo genérico, ela pode perder sua perspectiva única e os insights específicos que advêm de sua própria experiência. Ao construir seu próprio Modelo Mental de Especialista, uma organização preserva sua forma distinta de pensar. O modelo torna-se um registro portátil de sua sabedoria coletiva, sobrevivendo mesmo se os especialistas que o criaram deixarem a organização. Isso garante que o processo de tomada de decisão permaneça transparente e responsável, em vez de uma caixa preta que produz respostas que ninguém consegue explicar.

O estudo não afirma ter resolvido todos os problemas. O método funciona melhor quando a lógica de decisão segue o princípio de que melhorar uma situação nunca torna o resultado pior. Também exige que os especialistas estejam dispostos a dedicar tempo para articular seus pensamentos, o que pode ser um desafio. Em alguns casos, os especialistas podem ter dificuldade em responder a perguntas abstratas sem ver os detalhes específicos, e o sistema precisa ser flexível o suficiente para lidar com essa incerteza. Além disso, embora o método tenha sido testado em simulações e revisado contra estudos anteriores, os pesquisadores reconhecem que mais testes no mundo real são necessários para ver como ele se comporta em ambientes clínicos reais ou com propostas de bolsas de pesquisa reais.

Apesar dessas limitações, as descobertas oferecem um caminho claro para o uso da inteligência artificial em campos críticos. A ideia central é que a máquina não deve ser a tomadora de decisão. Em vez disso, ela deve ser a arquiteta do processo de tomada de decisão, ajudando a construir uma estrutura que capture o julgamento humano com precisamente. Ao fazer isso, ela evita a armadilha da alucinação e fornece uma ferramenta que é ao mesmo tempo poderosa e confiável. O resultado é um sistema que não substitui o especialista, mas amplia sua capacidade de tomar decisões sólidas, consistentes e explicáveis, mesmo diante de situações complexas e incertas.