💻 computer science

Ontology-Amplified Distillation and Contextuality Auditing for Sovereign Enterprise Language Models: A Combined Proof-of-Mechanism and Negative-Results Method Study

Este artigo apresenta um estudo combinado demonstrando que a destilação amplificada por ontologia de um modelo Qwen3.6-27B em um único Apple M5 Max alcança um embasamento de tarefas financeiras em vietnamita comparável a uma linha de base GPT-5, mas carece de poder estatístico para provar superioridade, enquanto um piloto concomitante de auditoria de contextualidade produz resultados negativos indicando zero contextualidade residual, falhando coletivamente em estabelecer empregabilidade, segurança ou equivalência estatística para modelos de linguagem empresariais soberanos.

Autores originais: Thanh Luong Tuan

Publicado 2026-07-15

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Thanh Luong Tuan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está administrando um banco muito rigoroso no Vietnã. As regras dizem que você não pode enviar os arquivos secretos de contas de seus clientes para um servidor de nuvem de uma IA gigante e superinteligente em outro país. Você tem que manter tudo dentro do seu próprio prédio. Mas aqui está o problema: a IA "local" que você consegue rodar nos seus próprios computadores geralmente não é tão inteligente quanto a gigante da nuvem.

Este artigo faz uma grande pergunta: Podemos ensinar nossa IA local, menor, a ser tão boa quanto a gigante da nuvem em seguir o livro de regras específico de um banco?

Os pesquisadores tentaram um truque inteligente chamado "Destilação Amplificada por Ontologia". Pense nisso como: Imagine que a IA gigante da nuvem é um mestre chef que sabe cozinhar de tudo. A IA local é um chef júnior. Em vez de apenas dizer ao chef júnior para "copiar o mestre", eles deram ao chef júnior um cartão de receita especial e destacado (a "ontologia") que lista exatamente quais ingredientes (termos) devem ser mencionados para um prato específico. Eles então treinaram o chef júnior mostrando-lhes as respostas do mestre com o cartão de receita e as respostas do mestre sem ele, recompensando o chef júnior apenas quando ele usava o cartão corretamente.

O Resultado: Um Empate, Não uma Vitória
Após treinar o chef júnior (um modelo chamado Qwen3.6-27B) em um único computador Apple M5 Max usando apenas 47 perguntas de prática inventadas, eles o colocaram à prova. Eles deram a ele 40 perguntas do mundo real sobre bancos em vietnamita.

Aqui está a pontuação:

O Chef Júnior Local: Acertou 36 de 40 perguntas (o que significa que mencionou os termos obrigatórios do livro de regras).
O Chef Gigante da Nuvem (GPT-5): Também acertou 36 de 40 perguntas.

Eles empataram! O modelo local conseguiu igualar o gigante neste teste específico.

Mas Espere, Não Estoure o Champanhe Ainda
O artigo é muito cuidadoso ao não chamar isso de uma "vitória" ou um "avanço". Aqui está o porquê:

É uma Amostra Pequena: O teste teve apenas 40 perguntas. Os autores dizem que isso é muito pouco para provar que eles são exatamente iguais. É como jogar uma moeda 40 vezes e obter 20 caras e 20 coroas; parece equilibrado, mas você não pode ter 100% de certeza de que a moeda é justa. A matemática mostra que a diferença real poderia ser de até 4 perguntas para qualquer um dos lados.
O Teste Foi Fácil: O teste não perguntou se as respostas eram corretas ou completas. Ele apenas perguntou: "Você mencionou pelo menos uma das palavras mágicas do livro de regras?" É como dar nota a um aluno apenas por ele ter escrito a palavra "maçã" em uma redação sobre frutas, não se a redação fez sentido.
O Treinamento Foi Falso: As perguntas de prática usadas para ensinar o chef júnior foram criadas por um computador, escritas em inglês e sobre saúde e seguros — não sobre as perguntas bancárias reais que foram testadas. O artigo admite que isso é uma "prova de mecanismo" (mostrando que a ideia funciona na teoria) em vez de uma "afirmação de implantação" (provando que está pronto para a vida real).
Não Houve "Super Poder": Antes do estudo, os pesquisadores esperavam que o modelo local fosse na verdade melhor que o gigante, porque o livro de regras ajuda mais os modelos pequenos do que os grandes. Isso não aconteceu. Eles apenas empataram.

A Segunda Parte: O Detector de "Confusão"
O artigo também testou uma segunda ideia: uma "Auditoria de Contextualidade". Imagine que você faz a mesma pergunta à IA, mas muda o papel que ela desempenha (ex: "Atue como um gerente de risco" vs. "Atue como um vendedor"). Às vezes, a resposta muda. Isso é porque a IA está confusa e não é confiável? Ou é apenas uma reação normal ao novo papel?

Os pesquisadores realizaram um teste piloto com 576 saídas. Eles descobriram que o que parecia ser "confusão" era, na verdade, apenas a IA reagindo ao novo papel ou à forma como a pergunta foi feita. Uma vez que levaram em conta isso, não sobrou zero "confusão" ou comportamento estranho do tipo quântico.

A Descoberta: O artigo descarta a ideia de que a IA é secretamente "contextual" de uma forma misteriosa e imprevisível.
A Lição: Se uma IA der respostas diferentes, não entre em pânico e a envie imediatamente para um humano. Primeiro, verifique se a mudança foi apenas porque você mudou o papel ou a redação. Se foi, isso é normal. Só chame um humano se a resposta ainda estiver estranha após você corrigir essas coisas.

O Ponto Principal
Este artigo é um relatório de "prova de conceito". Ele diz: "Ei, mostramos que uma IA local, pequena, pode ser treinada para igualar uma IA gigante em um teste específico e restrito usando um método especial de livro de regras. Também mostramos que podemos distinguir entre uma 'reação normal' e uma 'confusão real' nas respostas da IA."

No entanto, os autores são muito claros: Isso ainda não está pronto para o mundo real. Eles não provaram que a IA é segura, não provaram que funciona em perguntas mais difíceis, não provaram que funciona nos modelos menores que eles realmente querem usar e não provaram que funciona com especialistas humanos reais. É um primeiro passo promissor, como um piloto voando um avião pela primeira vez e pousando com segurança, mas antes de deixar que ele transporte passageiros, você precisa de muito mais testes.

Resumo Técnico: Destilação Amplificada por Ontologia e Auditoria de Contextualidade para Modelos de Linguagem Empresariais Soberanos

Definição do Problema
Instituições financeiras regulamentadas no Vietnã operam sob regras estritas de residência de dados que proíbem o envio de dados de clientes para APIs de modelos de fronteira estrangeiros. Consequentemente, um modelo implantável localmente, executado dentro do perímetro da instituição, é um requisito de conformidade, não meramente uma alternativa de redução de custos. O desafio central é determinar se um modelo "estudante" menor, passível de implantação local, pode atingir a mesma qualidade de fundamentação de domínio de um modelo de fronteira (ex: GPT-5) quando restrito a hardware on-premise. Trabalhos anteriores estabeleceram que o fornecimento de uma ontologia de domínio melhora a fidelidade de um modelo de fronteira, mas permanecia não comprovado se a fundamentação ontológica poderia elevar um modelo estudante à paridade com um modelo de fronteira em tarefas reguladas, particularmente dada a cobertura paramétrica mais tênue do estudante em domínios especializados.

Metodologia
O estudo emprega uma abordagem de duas partes: uma prova de mecanismo de potência reduzida para destilação de modelos e uma auditoria consolidada de contextualidade para roteamento de agentes.

Destilação Amplificada por Ontologia:
- Modelo: Um modelo estudante Qwen3.6-27B foi adaptado localmente em um único Apple M5 Max (128 GB de memória unificada) usando o framework MLX.
- Pipeline de Treinamento:
  - Captura: Professores de fronteira (GPT-5 e GPT-5-mini) geraram 451 trajetórias fundamentadas injetando uma fatia específica de ontologia "Foundation AgenticOS" (cobrindo papéis, conceitos de domínio, regulamentações e padrões de interação) nos prompts.
  - Ajuste Fino Supervisionado (SFT): Um adaptador de baixo posto (LoRA) foi treinado nessas trajetórias, reduzindo a perda de 2.370 para 0.496.
  - Otimização de Preferência Direta (DPO) Fundamentada em Ontologia: O estudante foi posteriormente ajustado em 47 pares de preferência sintéticos (42 de treinamento, 5 de validação). Em cada par, a resposta do modelo de fronteira fundamentada na ontologia foi marcada como "preferida", e a resposta do modelo base sem a fatia de ontologia foi marcada como "não preferida". Isso isolou o aprendizado do comportamento fundamentado na ontologia da imitação geral de fronteira.
- Avaliação: O estudante foi avaliado contra o GPT-5 em um conjunto de 40 tarefas de domínio financeiro vietnamita (banca, seguros, mercados de capitais, tecnologia imobiliária).
- Métrica: Uma métrica local e determinística de "conformidade ontológica" ( $r_{onto}$ ) foi utilizada. Ela pontua 1.0 se uma resposta mencionar pelo menos um dos termos da ontologia da tarefa e 0.5 caso contrário. Esta métrica atua como um proxy degenerado para um composto de conformidade de quatro componentes mais amplo, focando estritamente na presença de termos em vez da correção ou completude da resposta.
Auditoria de Contextualidade:
- Um piloto separado (RA-15) testou o framework "Contextualidade por Padrão" (CbD) para roteamento de agentes empresariais.
- A auditoria visava distinguir entre "influência direta" (onde mudanças no prompt naturalmente alteram as respostas), "acoplamento de construto" e "contextualidade residual" (inconsistência remanescente após a contabilização da influência direta).
- O estudo analisou saídas através de múltiplas fases (1.0 a 1.3) envolvendo quadros de papéis, ordens de prompts e redação de construtos, utilizando tanto os modelos locais Qwen quanto Gemma.

Principais Resultados

Paridade de Destilação: Nas 40 tarefas de teste, o estudante destilado fundamentou 36 tarefas (taxa de fundamentação de 90%; $r_{onto}$ $r_{o n t o}$ médio = 0.95), alcançando exatamente a mesma contagem que a linha de base de fronteira do GPT-5.
- Padrão de Desacordo: Os modelos erraram tarefas diferentes. O estudante errou duas tarefas de mercados de capitais e duas de tecnologia imobiliária, enquanto o de fronteira errou uma de mercados de capitais e três de tecnologia imobiliária. Duas tarefas foram erradas por ambos.
- Limitação Estatística: Com $n=40$ , o intervalo de confiança de 95% para a diferença pareada abrange ±4 tarefas. O resultado estabelece uma estimativa de ponto igual, mas não demonstra equivalência estatística ou superioridade. O estudo nota explicitamente que falhou em confirmar a hipótese pré-registrada de "amplificação" (que o estudante excederia o modelo de fronteira).
Mecanismo de Treinamento: O objetivo DPO separou com sucesso os pares de preferência. A precisão de preferência de validação mudou de 0 para 1.0, e a margem de recompensa aumentou para 0.307 em um único epoch, indicando que o estudante aprendeu a apresentar termos da ontologia quando apresentada a fatia.
Auditoria de Contextualidade: O piloto rendeu um resultado negativo em relação à contextualidade residual. Após corrigir os resíduos de deriva de probabilidade e aplicar correções de influência direta de escala de expectativa, o grau canônico de CbD foi zero para todos os grupos da Fase 1.3, tanto nas execuções do Qwen-local quanto do Gemma. O sinal útil identificado foi a influência direta e o acoplamento de construto, não a contextualidade residual sobrevivente.

Significância e Alegações
O artigo posiciona-se como um estudo de "mecanismo e controle" em vez de uma solução pronta para implantação. Suas principais contribuições são:

Uma Receita de Treinamento: Especifica a "destilação amplificada por ontologia" como um método para transferir comportamentos específicos de adesão à ontologia para modelos soberanos, separando esse comportamento da imitação geral de fronteira.
Um Diagnóstico de Governança: Propõe um método de auditoria de contextualidade para determinar quando o desacordo entre modelos deve disparar uma escalada (ex: debate, síntese, revisão humana). A descoberta de que a contextualidade residual é zero no piloto sugere que o desacordo aparente é frequentemente explicável pela influência direta ou acoplamento de constr sense, defendendo uma "regra de precursor mais segura" para auditar esses fatores antes de escalar tarefas.
Limitação Honesta de Escopo: Os autores declaram explicitamente que a evidência não apoia alegações de implantabilidade, segurança, superioridade ou equivalência estatística. O estudo é "subdimensionado" para descartar lacunas reais, utiliza dados de preferência sintéticos apenas em inglês para uma avaliação vietnamita e depende de uma métrica grosseira de cobertura de termos.
Transparência de Uso Dual: O artigo reconhece o papel duplo do pesquisador como cofundador de plataforma e acadêmico, observando que o estudo serve tanto como uma prova de conceito interna para um modelo soberano quanto como uma contribuição acadêmica.

Conclusão
O estudo demonstra que um modelo Qwen3.6-27B implantável localmente, ajustado via destilação fundamentada em ontologia, pode igualar o desempenho de cobertura de termos de um modelo de fronteira em um conjunto específico de tarefas financeiras vietnamitas. No entanto, essa paridade é uma prova de mecanismo de potência reduzida. O artigo conclui que uma avaliação de potência total é necessária para avaliar custo, segurança (abstenção em prompts fora da distribuição), desempenho entre escalas (ex: modelos de 14B) e fundamentação translinguística antes que qualquer afirmação de implantação possa ser feita. A auditoria de contextualidade sugere ainda que o roteamento empresarial deve priorizar o diagnóstico de influência direta e acoplamento de construto antes de assumir que a contextualidade residual exige intervenção multi-agente complexa.

Mais como este