Pramana: Fine-Tuning Large Language Models for Epistemic Reasoning through Navya-Nyaya

O artigo apresenta o Pramana, uma nova abordagem que aprimora o raciocínio epistêmico de modelos de linguagem ao ajustá-los finamente com a lógica Navya-Nyaya, um framework indiano de 2.500 anos que impõe uma estrutura de raciocínio em seis fases para reduzir alucinações e garantir justificativas baseadas em evidências.

O essencial

Imagine que os grandes modelos de linguagem (como o ChatGPT ou o Claude) são como estudantes superdotados, mas um pouco preguiçosos. Eles leem milhões de livros e conseguem escrever textos lindos e fluentes. No entanto, quando precisam resolver um problema lógico complexo, eles tendem a "chutar" a resposta baseada em padrões que viram antes, em vez de realmente pensar. Se você mudar um detalhe irrelevante na pergunta, eles podem entrar em pânico e dar uma resposta errada com total confiança. Isso é chamado de "alucinação".

Os pesquisadores deste paper, liderados por Sharath Sathish, decidiram ensinar esses "estudantes" a pensar de verdade. Mas eles não usaram a lógica ocidental comum. Eles pegaram um manual de instruções de raciocínio de 2.500 anos de idade, criado na Índia antiga, chamado Navya-Nyaya.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: O "Chute" Confiante

Pense em um modelo de IA atual como um palpiteiro de futebol. Ele vê que o time A ganhou os últimos 10 jogos e, mesmo que o time B esteja jogando muito melhor hoje, ele continua gritando "Time A vai ganhar!" porque é o padrão que ele aprendeu. Ele não analisa o jogo; ele apenas repete o que funcionou antes. Isso é perigoso em áreas como medicina ou leis, onde você precisa de justificativas reais, não apenas de palpites.

2. A Solução: O "Detetive Indiano" (Navya-Nyaya)

Os autores criaram um método chamado Pramana. Eles ensinaram a IA a seguir um roteiro rigoroso de 6 etapas, inspirado na filosofia indiana antiga. Em vez de apenas "pensar passo a passo" (como fazemos hoje), a IA agora deve agir como um detetive meticuloso ou um juiz de tribunal.

O processo tem 6 fases, como se fossem 6 salas que o detetive precisa visitar antes de fechar o caso:

1. SAMSHAYA (A Dúvida): Antes de agir, o detetive deve perguntar: "O que exatamente eu não sei? Onde está a confusão?". Isso impede que a IA pule direto para a conclusão.
   • Analogia: É como um médico que, ao ver um paciente, primeiro define: "É febre ou alergia?" antes de receitar remédio.
2. PRAMANA (As Provas): O detetive deve listar de onde tirou a informação. Foi visto? Foi deduzido? Foi ouvido de uma fonte confiável?
   • Analogia: Não basta dizer "Acho que foi o João". Você precisa dizer: "Vi a pegada dele (prova direta)" ou "O João confessou (testemunho)".
3. PANCHA AVAYAVA (O Argumento): Aqui, a IA constrói o raciocínio usando uma regra universal e um exemplo concreto.
   • Analogia: "Toda vez que chove, a grama fica molhada (Regra). Está chovendo agora (Exemplo). Logo, a grama está molhada."
4. TARKA (O Teste do Contrário): O detetive tenta provar que está errado. Ele diz: "E se eu estiver enganado? O que aconteceria?". Se a lógica quebrar, ele volta atrás.
   • Analogia: É como um advogado de defesa tentando derrubar a acusação do próprio advogado para ver se o caso aguenta o tranco.
5. HETVABHASA (Caça às Falácias): O detetive verifica se cometeu erros de raciocínio, como confundir coincidência com causa.
   • Analogia: "O galo canta antes do sol nascer. Será que o galo faz o sol nascer? Não, isso é uma falácia."
6. NIRNAYA (A Conclusão): Só agora, após passar por todas as provas e testes, a IA dá a resposta final. Se não houver provas suficientes, ela admite: "Não sei, preciso de mais dados".
   • Analogia: O juiz bate o martelo. Se a prova não for sólida, ele absolve o réu em vez de inventar uma culpa.

3. O Que Eles Fizeram na Prática?

Eles pegaram dois modelos de IA (um pequeno e um médio) e os "treinaram" usando apenas 20 a 55 exemplos desse método indiano. Foi como dar a um aluno apenas 50 exercícios de lógica muito bem estruturados, em vez de milhares de textos soltos.

Os Resultados Surpreendentes:

• A IA aprendeu a pensar: Mesmo que ela às vezes esquecesse de escrever o título de uma das 6 fases (o formato), o conteúdo do raciocínio estava perfeito.
• Precisão: No modelo maior, eles atingiram 100% de acerto nas respostas lógicas.
• O Grande Diferencial: Diferente de outros modelos que "pensam" de forma misteriosa (caixa preta), esse modelo deixa um rastro de papel. Você pode ler exatamente como ele chegou à conclusão, onde pegou a prova e onde testou a ideia.

4. Por Que Isso é Importante?

Imagine que você está em um tribunal.

• IA Comum: O advogado diz: "O réu é culpado porque... bem, eu sinto que sim, e a IA disse que sim." (Não há como verificar).
• IA com Pramana: O advogado diz: "O réu é culpado porque: 1) Temos a prova da câmera (Percepção); 2) A regra diz que entrar à noite é crime (Regra Universal); 3) Testamos a hipótese de que ele estava em outro lugar e provamos que é impossível (Teste do Contrário)."

Isso torna a Inteligência Artificial confiável, auditável e honesta. Ela aprendeu a ter "humildade epistemológica" (saber o que ela sabe e o que não sabe), em vez de inventar fatos com confiança.

Resumo em Uma Frase

Os pesquisadores ensinaram a IA a usar um "manual de instruções" de 2.500 anos da Índia antiga, transformando-a de um "palpiteiro confiante" em um "detetive rigoroso" que só dá a resposta quando tem provas sólidas e verificáveis.

Resumo técnico

Resumo Técnico: Pramana

1. O Problema: A Lacuna Epistêmica nos LLMs

O artigo identifica uma limitação fundamental nos Grandes Modelos de Linguagem (LLMs): embora gerem texto fluente, eles sofrem de uma "lacuna epistêmica". Os modelos tendem a realizar correspondência de padrões estatísticos em vez de raciocínio sistemático, o que resulta em:

• Alucinações: Geração confiante de afirmações falsas sem mecanismos de verificação interna.
• Raciocínio Intraçável: Ausência de trilhas de justificação que liguem conclusões a evidências.
• Fragilidade: Desempenho que colapsa quando o contexto muda ou quando informações irrelevantes são adicionadas (ex: degradação de 65% em problemas matemáticos com contexto irrelevante, conforme estudo da Apple).
• Conflação Correlação-Causalidade: Incapacidade de distinguir relações causais de padrões coincidentes.

Abordagens atuais, como Chain-of-Thought (CoT), melhoram a precisão, mas dependem de padrões implícitos aprendidos durante o pré-treinamento, não enforçando estruturas lógicas explícitas ou rigor epistemológico.

2. Metodologia: A Abordagem Pramana e Navya-Nyaya

Os autores propõem o Pramana, uma nova abordagem que ensina LLMs a utilizar a metodologia epistemológica formal do Navya-Nyaya ("Nova Lógica"), um sistema indiano de raciocínio de 2.500 anos. Diferente da lógica ocidental formal que separa validade lógica de fundamentação epistêmica, o Navya-Nyaya integra ambas, exigindo que todo raciocínio seja rastreável a fontes de conhecimento válidas.

O método impõe uma estrutura de 6 fases obrigatórias no processo de raciocínio do modelo:

1. SAMSHAYA (Análise da Dúvida): Classificação do tipo de incerteza ou ambiguidade no problema (ex: entidades compartilhando propriedades, contradições).
2. PRAMANA (Fontes de Conhecimento): Identificação explícita das fontes de conhecimento válidas para fundamentar as afirmações:
   • Pratyaksha (Percepção Direta): Fatos observáveis no enunciado.
   • Anumana (Inferência): Deduções lógicas (causa-efeito, efeito-causa, correlação geral).
   • Upamana (Comparação): Conhecimento por analogia a casos resolvidos.
   • Shabda (Testemunho): Princípios lógicos universais ou axiomas.
3. PANCHA AVAYAVA (Silogismo de 5 Membros): Construção de argumentos formais contendo:
   • Pratijna (Tese), Hetu (Razão), Udaharana (Exemplo Universal + Instância Concreta), Upanaya (Aplicação), Nigamana (Conclusão).
   • Diferencial Crítico: Exige regras universais ancoradas em exemplos concretos (dr.s.t.¯anta), evitando raciocínio puramente abstrato.
4. TARKA (Teste Contrafactual): Verificação da conclusão via reductio ad absurdum (assumir o oposto e derivar contradição).
5. HETVABHASA (Detecção de Falácias): Auditoria explícita para identificar 5 tipos de falácias (ex: razão errática, razão contraditória, raciocínio circular).
6. NIRNAYA (Ascensão/Conclusão): Declaração definitiva distinguindo "Conhecimento Definitivo" de "Hipótese", exigindo humildade epistêmica quando as evidências são insuficientes.

Implementação Técnica:

• Modelos Base: Llama 3.2-3B (Estágio 0) e DeepSeek-R1-Distill-Llama-8B (Estágio 1).
• Técnica de Treinamento: Supervised Fine-Tuning (SFT) utilizando QLoRA (4-bit quantization) via biblioteca Unsloth para eficiência.
• Dados: 20 exemplos manuais (Estágio 0) e 55 exemplos (Estágio 1, incluindo exemplos negativos para aprendizado contrastivo).
• Validação: Uso de validadores estruturados (Regex/Parser) e, futuramente, verificação formal via Z3 SMT Solver.

3. Contribuições Principais

1. Primeira Aplicação de Navya-Nyaya em LLMs: Demonstra que modelos de linguagem podem aprender padrões de raciocínio sistemático a partir de epistemologia antiga, produzindo traços de raciocínio estruturados em 6 fases.
2. Análise Empírica de Escala: Comparação entre dois estágios de treinamento, mostrando que o aumento do tamanho do modelo (3B para 8B) e do conjunto de dados melhora a precisão semântica, mesmo com desafios na adesão estrita ao formato.
3. Recurso de Código Aberto (Open Source): Liberação completa no Hugging Face, incluindo:
   • Modelos ajustados (Adapters LoRA e modelos mesclados).
   • Conjuntos de dados de treinamento e validação.
   • Pipeline de treinamento e demo interativa no Hugging Face Spaces.
   • Infraestrutura de verificação (Z3).

4. Resultados Experimentais

Os experimentos foram divididos em dois estágios:

• Estágio 0 (Llama 3.2-3B):
  • Adesão ao Formato: 40% (4/10 exemplos). O modelo lutou para seguir estritamente o esquema de 6 fases.
  • Corretude Semântica: 50% (5/10 exemplos).
• Estágio 1 (DeepSeek-R1-Distill-Llama-8B):
  • Adesão ao Formato: 40% (4/10 exemplos). A taxa de adesão estrutural permaneceu constante, indicando que o ajuste fino supervisionado sozinho não resolve a conformidade estrita ao esquema.
  • Corretude Semântica: 100% (10/10 exemplos). O modelo internalizou perfeitamente o conteúdo do raciocínio, mesmo quando a saída final falhava na validação de formato (ex: seções faltando ou tipos de dúvida inválidos).

Descobertas Chave:

• Dissociação Conteúdo vs. Estrutura: Os modelos aprenderam a substância do raciocínio (lógica, identificação de fontes, verificação) antes de dominar a forma estrita de saída.
• Robustez: Mesmo com falhas de parse (formato), as respostas finais estavam semanticamente corretas.
• Custo Computacional: O overhead de tokens é de 3x a 6x comparado ao CoT padrão (aprox. 1.250 tokens vs. 300 tokens), mas isso é justificado pela rastreabilidade e auditabilidade.
• Ablação: A temperatura de decodificação e o prompting de formato interagem de forma diferente dependendo do estágio do modelo.

5. Significado e Impacto

O trabalho Pramana oferece uma alternativa viável e transparente aos modelos de raciocínio "caixa-preta" (como o1 ou DeepSeek-R1 base), que alcançam alta precisão, mas cujos processos de pensamento são opacos.

• Auditabilidade: Ao forçar a identificação explícita de fontes de conhecimento e a verificação de falácias, o sistema permite que humanos auditam cada passo do raciocínio, essencial para domínios de alto risco (médico, legal, segurança).
• Humildade Epistêmica: O estágio Nirnaya força o modelo a admitir incerteza quando as evidências são insuficientes, reduzindo alucinações confiantes.
• Fusão Antigo-Moderno: Demonstra que frameworks filosóficos não-ocidentais antigos podem fornecer estruturas computacionais robustas para resolver problemas modernos de IA, preenchendo a lacuna entre lógica formal e fundamentação epistêmica.
• Caminho Futuro: O artigo propõe futuras etapas (Estágio 2 e 3) focadas em escalonamento sintético de dados, uso de Reinforcement Learning (GRPO) com recompensas específicas para formato e expansão para domínios além da lógica formal (raciocínio causal, jurídico).

Em suma, o Pramana prova que é possível ensinar LLMs a "pensar" de forma sistemática e justificável, não apenas a prever o próximo token, estabelecendo um novo paradigma para IA confiável e interpretável.