🤖 AI

EnterpriseRAG: Benchmarking LLM Instruction Adherence and Robustness under Non-Ideal Enterprise Retrieval

O artigo apresenta o EnterpriseRAG, um benchmark abrangente de 983 amostras validadas por especialistas em seis domínios que expõe uma lacuna crítica de "orquestração" em sistemas de Geração Aumentada de Recuperação (RAG) empresariais, revelando que, embora os grandes modelos de linguagem frequentemente satisfaçam restrições individuais, sua adesão holística às instruções colapsa significativamente sob condições realistas de produção envolvendo recuperação ruidosa, lacunas de conhecimento e conflitos factuais.

Autores originais: Huiqi Miao, Xinbao Sun, Bo Wang, Fanyu Meng, Lijun Mei, Na Wu, Di Jin, Chao Deng, Junlan Feng

Publicado 2026-08-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Huiqi Miao, Xinbao Sun, Bo Wang, Fanyu Meng, Lijun Mei, Na Wu, Di Jin, Chao Deng, Junlan Feng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a ser um assistente prestativo. Você dá a ele uma biblioteca de livros (sua base de conhecimento) e faz uma pergunta. O robô vai até a biblioteca, pega algumas páginas, lê e escreve uma resposta. Isso é chamado de RAG (Geração Aumentada por Recuperação). É como um aluno fazendo uma prova com consulta: ele não precisa memorizar tudo, mas precisa encontrar a página certa e lê-la cuidadosamente para obter a resposta correta.

Mas aqui está o problema: no mundo real, as bibliotecas são bagunçadas. Às vezes, o robô pega páginas que não têm nada a ver com a pergunta (ruído). Às vezes, os livros não têm a resposta de jeito nenhum (uma lacuna de conhecimento). E às vezes, dois livros diferentes dizem coisas opostas sobre o mesmo fato (um conflito). A maioria dos testes para esses robôs assume que a biblioteca é perfeita e as perguntas são simples, como "Qual é a capital da França?". Mas a vida real é mais como perguntar: "Resuma a receita do último trimestre em uma tabela, mas se os dados estiverem faltando, diga 'não sei' em vez de adivinhar, e se dois relatórios discordarem, liste ambos".

É aqui que as coisas ficam complicadas. Queremos que nossos assistentes robóticos não apenas encontrem fatos, mas que sigam regras estritas, admitam quando estão travados e lidem com situações bagunçadas sem inventar coisas. Se um robô não conseguir fazer isso, ele pode dar uma resposta confiante, porém errada, o que pode ser um desastre para uma empresa tentando tomar decisões importantes.

O Grande Fracasso do "Seguir até o Fim"

Uma equipe de pesquisadores da Jiutian Research, da China Mobile, construiu um novo teste mais rigoroso chamado EnterpriseRAG para ver quão bem esses robôs de IA realmente lidam com a bagunça do mundo real. Pense neste teste como um "teste de estresse" para a IA, projetado para ver se eles conseguem manter a calma quando as instruções são complicadas e a informação que encontram é quebrada ou conflitante.

Eles criaram 983 cenários complicados em seis campos diferentes, como energia, medicina, direito e finanças. Nesses cenários, eles não fizeram apenas perguntas simples. Eles deram aos robôs instruções complexas com múltiplas regras, como "Use uma tabela", "Não adivinhe", "Cite suas fontes" e "Se você vir uma contradição, informe-me sobre ela". Em seguida, eles deliberadamente bagunçaram a informação que os robôs encontraram: adicionaram lixo irrelevante, removeram a resposta inteiramente ou plantaram contradições falsas.

A Grande Descoberta: O "Gap de Orquestração"
Os resultados foram um choque. Quando os pesquisadores verificaram se os robôs consegam seguir regras individuais, eles foram muito bem. Cerca de 84% das vezes, um robô acertava uma única regra, como usar o formato correto ou citar uma fonte. Era como um aluno que acerta todos os passos matemáticos, mas esquece de escrever a resposta final.

No entanto, quando verificaram se os robôs seguiam todas as regras ao mesmo tempo, a pontuação despencou para apenas 27%. Os pesquisadores chamam isso de um "gap de orquestração" de 57 pontos. Acontece que, embora esses modelos de IA sejam ótimos em fazer uma coisa de cada vez, eles desmoronam quando precisam lidar com várias instruções complexas simultaneamente. Eles podem acertar a formatação, mas depois inventar um fato, ou podem encontrar a resposta certa, mas esquecer de dizer "não sei" quando os dados estavam faltando.

A Armadilha da "Prestatividade"
Uma das descobertas mais interessantes foi como os robôs lidam com situações onde a resposta não está nos livros. Humanos sabem que, se não sabem algo, devem dizer "não sei". Mas esses robôs de IA têm um forte "viés de prestatividade". Eles querem muito ser úteis, então, quando não encontram a resposta, muitas vezes acabam inventando uma.

No teste, quando a informação estava faltando, os robôs só recusaram responder corretamente cerca de 42,7% das vezes (com o melhor modelo, Claude-Opus-4.5). Nos outros 57,3% das vezes, eles adivinharam ou alucinaram uma resposta com confiança. Isso é perigoso porque uma resposta errada e confiante é frequentemente pior do que nenhuma resposta.

O Raciocínio Ajuda, mas Não é uma Varinha Mágica
Os pesquisadores também testaram modelos de "raciocínio" — IA que leva um momento para "pensar" antes de responder, como um aluno que faz uma pausa para resolver um problema difícil. Esses modelos foram melhores que os modelos padrão. Por exemplo, foram muito melhores em detectar quando dois documentos se contradiziam. O melhor modelo de raciocínio detectou conflitos cerca de 44,3% das vezes, enquanto outros tiveram índices muito menores.

No entanto, mesmo os modelos de "pensamento" não eram perfeitos. Eles ainda tinham dificuldade em seguir todas as regras ao mesmo tempo e ainda às vezes adivinhavam quando deveriam admitir a derrota. O artigo sugere que simplesmente fazer a IA "pensar" mais não é suficiente para resolver o problema; os robôs precisam de um treinamento melhor sobre como julgar quando têm informações suficientes e como seguir protocolos complexos sem perder o controle.

A Conclusão
O artigo não afirma que a IA está quebrada para sempre, mas mostra que estamos superestimando o quanto esses sistemas estão prontos para trabalhos sérios do mundo real. Só porque uma IA consegue escrever um poema ou responder a uma pergunta simples, não significa que ela possa lidar com uma tarefa comercial complexa com dados bagunçados e regras estritas. Para tornar esses sistemas confiáveis, precisamos parar de testá-los em ambientes perfeitos e limpos e começar a testá-los no mundo bagunçado, barulhento e contraditório em que eles realmente terão que viver. Até que possamos fechar esse gap de 57 pontos, devemos ter muito cuidado ao deixar esses robôs tomarem decisões importantes sozinhos.

Resumo Técnico: EnterpriseRAG

Declaração do Problema

Os sistemas de Geração Aumentada de Recuperação (RAG) para empresas enfrentam uma lacuna crítica de confiabilidade entre a satisfação de restrições individuais e a adesão holística às instruções. Embora os Grandes Modelos de Linguagem (LLMs) possam satisfazer restrições únicas com altas taxas (até 84%), eles frequentemente falham em atender a todos os requisitos simultaneamente em ambientes de produção, resultando em um "gap de orquestração" significativo (observado em níveis tão baixos quanto 27% de conformidade holística).

Os benchmarks existentes falham em capturar a complexidade das implantações empresariais do mundo real porque dependem de:

Recuperação Limpa: Assumindo uma recuperação de documentos de alta qualidade e relevantes sem ruído.
Consultas Simples: Carecendo das restrições multidimensionais encontradas em fluxos de trabalho operacionais.
Avaliação Isolada: Estudando o ruído de recuperação, lacunas de conhecimento e seguimento de instruções de forma isolada, em vez de como fatores cumulativos.

Consequentemente, as avaliações atuais não revelam o colapso severo na adesão às instruções que ocorre quando os modelos devem navegar por contextos ruidosos, informações ausentes e conflitos fatuais enquanto aderem a protocolos comportamentais complexos (ex: mecanismos de recusa, citação de conflitos).

Metodologia

Os autores introduzem o EnterpriseRAG, um benchmark projetado para simular sistematicamente condições de recuperação empresarial não ideais.

Construção do Benchmark

Escala e Escopo: O conjunto de dados compreende 983 amostras validadas por especialistas em seis domínios verticais: Energia, Médica, Jurídica, Financeira, Construção do Partido e Busca na Web.
Fonte de Dados: Derivado de logs de RAG de produção dessensibilizados e consultas reais de usuários, garantindo intenção operacional autêntica.
Esquema de Instrução: As instruções são sintetizadas fundindo restrições atômicas em três dimensões ortogonais:
1. Definição de Persona: Contexto de papel e público-alvo.
2. Restrições de Saída: Formatação, estilo, restrições negativas e ordenação.
3. Protocolos de Interação com o Conhecimento: Regras comportamentais para manipulação de evidências, incluindo resolução de conflitos, identificação de lacunas, expressão de incerteza e citação.
Cenários de Recuperação Não Ideais: O benchmark constrói três modos de falha específicos ausentes em trabalhos anteriores:
1. Ruído de Recuperação: Documentos topicamente semelhantes, mas contextualmente irrelevantes (40–60% de conteúdo irrelevante).
2. Lacunas de Conhecimento: Cenários onde a evidência recuperada é insuficiente para responder à consulta.
3. Conflitos Fatuais: Passagens recuperadas contendo declarações contraditórias.

Estrutura de Avaliação

Os autores propõem métricas especializadas para distinguir entre sucesso parcial e holístico:

Pontuação de Adesão de Instrução Flexível (Loose IAS): A proporção de restrições individuais satisfeitas.
Pontuação de Adesão de Instrução Estrita (Strict IAS): Uma métrica binária que indica se todas as restrições foram satisfeitas simultaneamente.
Métricas de Robustez:
- Precisão de Rejeição: A capacidade de recusar a resposta quando o conhecimento está ausente (prevenindo alucinações).
- Precisão de Reconhecimento de Conflito: A capacidade de identificar e relatar informações contraditórias em vez de confiar cegamente em uma fonte.
Qualidade do RAG: Fidelidade (Faithfulness) e Cobertura da Resposta são medidas usando avaliação baseada em afirmações (semelhante ao RAGAS) sem exigir respostas de referência "gold".

Principais Resultados

O benchmark avaliou 13 LLMs de última geração, incluindo modelos de código aberto (Qwen3, DeepSeek, GLM) e de código fechado (Gemini, GPT, Claude), com variantes padrão e aprimoradas por raciocínio.

O Gap de Orquestração: Um colapso severo de adesão foi observado. Enquanto os modelos alcançaram um Loose IAS elevado (até 83,8%), o Strict IAS despencou para tão baixo quanto 26,8%. Este gap de 57 pontos indica que os modelos satisfazem restrições individuais, mas falham em orquestrá-las de forma holística.
Protocolos Comportamentais como o Gargalo: A análise de erro revelou que os Protocolos de Interação com o Conhecimento (ex: tratamento de conflitos, identificação de lacunas) exibem as maiores taxas de falha, significativamente superiores às restrições de formatação estrutural.
Lacunas de Conhecimento e Alucinação: Os modelos exibem um "viés de utilidade", frequentemente alucinando respostas quando a informação está ausente. A precisão de rejeição foi geralmente baixa (ex: Qwen3-30B-Instruct alcançou apenas 6,6%), embora modelos aprimorados pelo raciocínio tenham mostrado melhoria (ex: Claude-Opus-4.5 atingiu 42,7%).
Reconhecimento de Conflito: Mesmo os modelos mais fortes tiveram dificuldade em identificar conflitos fatuais, com o melhor modelo (DeepSeek-R1) alcançando apenas 44,3% de reconhecimento. Modelos padrão não mostraram correlação significativa entre reconhecimento de conflito e cobertura da resposta, enquanto modelos aprimorados pelo raciocínio mostraram uma forte correlação positiva ( $\rho = +0,90$ ).
Impacto do Raciocínio: Modelos aprimorados pelo raciocínio (ex: Qwen3-235B-Thinking, DeepSeek-R1) superaram consistentemente seus equivalentes de instrução padrão, particularmente em Strict IAS e métricas de robustez, sugerindo que o raciocínio em tempo de inferência é crítico para a confiabilidade de nível empresarial.
Eficácia do Protocolo: Incluir explicitamente Protocolos de Interação com o Conhecimento nos prompts melhorou significativamente o reconhecimento de conflitos em todos os modelos, mas teve um efeito mais modesto na precisão de rejeição para lacunas de conhecimento.

Significância e Alegações

O artigo afirma que o EnterpriseRAG fornece uma base reproduzível para medir e fechar o gap de confiabilidade nos sistemas RAG empresariais. Suas principais contribuições são:

Avaliação Realista: Ele desloca o paradigma de avaliação de cenários sintéticos limpos para instruções complexas de múltiplas restrições sob condições de recuperação não ideais, refletindo desafios reais de produção.
Identificação do Gargalo Central: O estudo identifica que a principal barreira para a implantação de RAG empresarial não é o embasamento factual ou a formatação, mas o julgamento comportamental sob incerteza (especificamente, recusa calibrada e resolução de conflitos).
Insights Acionáveis: Os resultados sugerem que alcançar um RAG pronto para produção requer:
1. Treinamento e avaliação direcionados especificamente para o julgamento de nível de protocolo, em vez de apenas formatação ou factualidade.
2. A inclusão de protocolos operacionais explícitos nos prompts para melhorar o tratamento de conflitos, embora estes sozinhos sejam insuficientes para resolver a recusa de lacunas de evidência.

Os autores concluem que os LLMs atuais, mesmo com capacidades de raciocínio, ainda não atendem aos padrões de confiabilidade exigidos para a implantação empresarial totalmente autônoma sem protocolos explícitos conscientes do contexto. O benchmark e a estrutura de avaliação são lançados para facilitar esse progresso.