💬 NLP

On-Device Deep Research at 4B: Exposure Bounds Faithfulness, Retrieval Bounds Coverage

Este estudo demonstra que, para agentes de pesquisa de 4B em dispositivos, a fidelidade da citação é determinada primariamente pela quantidade de texto de origem exposto ao modelo, em vez da qualidade da fonte, enquanto a cobertura de fontes corretas permanece estritamente limitada pelo recall de recuperação.

Autores originais: Vinay Kumar Chaganti

Publicado 2026-07-15

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Vinay Kumar Chaganti

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô bibliotecário de bolso, super inteligente, chamado "4B". Este robô vive no seu laptop pessoal e o trabalho dele é ler uma série de artigos de pesquisa, descobrir as respostas para perguntas difíceis e escrever um pequeno relatório com citações (como "de acordo com a página 5 deste livro").

Mas aqui está o problema: às vezes o robô mente. Ele pode dizer: "O livro diz X", quando o livro na verdade diz Y. Ou ele pode escolher o livro errado inteiramente. Pesquisadores queriam saber: Como fazemos esse pequeno robô dizer a verdade, e qual é o custo disso?

Eles realizaram um experimento massivo em um laptop com 24 GB de memória para encontrar a receita secreta. Aqui está o que eles descobriram, usando duas alavancas simples.

Alavanca 1: O Efeito "Peek-a-Boo" (Exposição)

Pense nos óculos de leitura do robô. No primeiro teste, o robô só tinha permissão para espiar os primeiros 400 caracteres (cerca de um parágrafo curto) de cada artigo antes de escrever seu relatório. Era como tentar julgar um filme inteiro assistindo apenas aos primeiros 30 segundos.

O resultado? O robô estava instável. Ele acertou apenas cerca de 45% de suas afirmações ao olhar para resultados de busca reais e, ainda pior (37%), ao olhar para artigos "padrão ouro" perfeitos. Ele estava adivinhando demais.

Então, os pesquisadores deram óculos melhores ao robô. Eles permitiram que ele lesse 1.500 caracteres (cerca de uma página inteira) de cada artigo. De repente, o cérebro do robô acendeu!

Em resultados de busca reais, sua precisão saltou para 58%.
Em artigos perfeitos, ele também atingiu 58%.

A Grande Surpresa: Não importava se o artigo era perfeito ou apenas um resultado de busca aleatório. Uma vez que o robô conseguia ler o suficiente do texto, ele sustentava suas afirmações tão bem quanto em ambos os casos. O artigo argumenta que a fidelidade está limitada ao quanto o rob em vê, e não se a fonte é perfeita.

No entanto, o artigo é cuidadoso ao dizer que isso não é uma solução mágica. Mesmo em seu melhor momento, o robô ainda errou cerca de 42% de suas afirmações. É melhor, mas ainda não é perfeito. Além disso, esse truque de "ler mais" só funcionou até certo ponto; ler ainda mais não ajudou muito após os 1.500 caracteres.

Alavanca 2: O Problema da "Busca na Biblioteca" (Recuperação)

Agora, imagine que o robô está lendo um livro perfeito, mas o livro nem sequer está na estante! Os pesquisadores descobriram um segundo problema: Cobertura.

Mesmo quando o robô lia 1.500 caracteres, se o mecanismo de busca não encontrasse o livro certo em primeiro lugar, o robô não conseguiria citá-lo. A "Cobertura Confiável" (com que frequência o robô cita a fonte certa e obtém os fatos corretos) permaneceu travada em torno de 0,22 (ou 22%), não importa o quanto de texto deixassem o robô ler.

Por quê? Porque o mecanismo de busca estava encontrando apenas cerca de 40% dos artigos corretos para começar. O robô não pode citar o que não consegue encontrar. O artigo explicitamente descarta a ideia de que "ler mais" corrigirá isso. Se o robô nunca vir o livro certo, ler mais dos livros errados não ajudará.

O que o Robô Não Consegue Fazer (O Mito do "Reparo")

Você pode pensar: "E se deixarmos o robô escrever um rascunho, depois verificarmos seu trabalho e corrigirmos os erros?". Os pesquisadores testaram isso também. Eles fizeram o robô tentar "filtrar" (descartar afirmações ruins), "revisar" (reescrever afirmações ruins) ou "reatribuir" (mover citações).

O resultado foi que o robô ficou ligeiramente melhor em sustentar as afirmações que fazia, mas sua capacidade geral de encontrar as fontes certas não melhorou. Na verdade, tentar consertar as coisas depois do fato muitas vezes fazia o robô citar menos fontes, o que baixava sua pontuação geral. O artigo sugere que reparar um relatório depois que ele foi escrito é tarde demais; o dano já está feito se as fontes certas não foram encontradas ou lidas o suficiente em primeiro lugar.

A "Receita" para um Robô Melhor

Então, qual é a lição prática para construir um robô que rode no seu laptop?

Primeiro, dê a ele mais para ler. Deixe o robô ver 1.500 caracteres de cada fonte que ele encontrar. Isso é barato (custa apenas cerca de 235 tokens extras de memória do computador) e aumenta a veracidade do robô de 45% para 58%.
Segundo, conserte a busca. Uma vez que o robô esteja lendo o suficiente, a única coisa que resta é consertar o mecanismo de busca. Você precisa garantir que o robô realmente encontre os livros certos antes de começar a lê-los.

O Ponto Final

Este estudo não criou um robô perfeito. Ele descobriu que um pequeno robô em um laptop pode ser surpreendentemente bom em dizer a verdade se for permitido que ele leia o suficiente do material de origem. Mas também provou que nenhum nível de leitura ajudará se o robô estiver pesquisando na biblioteca errada.

Os autores estão confiantes sobre a parte de "ler mais" (funcionou consistentemente através de diferentes testes e até com um segundo juiz independente). Eles também estão confiantes de que "consertar depois" não funciona bem. Mas eles admitem que os números absolutos ainda são modestos — o robô está melhorando, mas ainda não está pronto para substituir um pesquisador humano. É um mapa mostrando-nos onde olhar a seguir, não um destino finalizado.

Resumo Técnico: Limites de Exposição de Pesquisa Profunda em 4B

Definição do Problema

Agentes de pesquisa profunda são tipicamente avaliados pela precisão da resposta em escalas de modelos de fronteira, negligenciando frequentemente duas restrições críticas para o implantação em dispositivos pessoais: fidelidade de citação e custo de hardware. Um agente implantável deve não apenas gerar relatórios precisos, mas também garantir que cada afirmação citada seja de fato sustentada pela fonte que ela referencia (fidelidade) e que ele cite as fontes corretas (cobertura). A literatura atual reporta a qualidade da citação como uma métrica única, obscurecendo a distinção entre um agente que sustenta as fontes que escolhe citar versus um agente que cita as fontes corretas. O custo de executar esses agentes em hardware pessoal (por exemplo, um laptop de 24 GB) e os alavancagem de design específicos que melhoram a fidelidade para modelos pequenos (abaixo de 8B) permanecem não mensurados.

Metodologia

O estudo isola as variáveis que afetam a qualidade da citação usando uma configuração fixa e implantável:

Modelo e Hardware: Um único gerador de 4B de parâmetros (Qwen3-4B-Instruct-2507) rodando em um Apple M4 Pro com 24 GB de RAM.
Substrato: Um corpus de 1.062 documentos derivados de 63 artigos recentes do arXiv em ML e tecnologia de linguagem. A evidência "ouro" (gold) para cada tarefa é a lista de referências do próprio artigo de origem.
Pipeline: O agente planeja consultas, realiza recuperação híbrida (BM25 + densa) e redige um breve informativo citado.
Design Experimental: Uma grade $2 \times 4$ $2 \times 4$ cruzando dois fatores:
1. Qualidade da Fonte: Oráculo (recebe os artigos ouro diretamente) vs. Ingênuo (recebe os artigos recuperados).
2. Exposição: O número de caracteres de cada fonte visíveis ao gerador durante a redação (400, 800, 1200, 1500).
Métricas: O estudo separa a Fidelidade de Afirmação Citada (a fonte citada sustenta a afirmação?) da Cobertura Confiável (fidelidade ponderada pela recall de citação). Um juiz DeBERTa-v3 NLI pontua a implicação, com resultados verificados por um segundo juiz independente (HHEM-2.1-Open).
Painel de Reparo: Um experimento secundário testou ações de reparo pós-geração (filtragem, revisão, reatribuição) para ver se poderiam recuperar o embasamento perdido.

Principais Resultados

O estudo identifica duas alavancagens distintas que atuam em diferentes resultados:

Limites de Fidelidade de Exposição:
- Aumentar a exposição de cada fonte de 400 para 1500 caracteres eleva significativamente a fidelidade.
- Fontes Ingênuas (Recuperadas): A fidelidade subiu de 0,45 para 0,58.
- Fontes Oráculo (Ouro): A fidelidade subiu de 0,37 para 0,58.
- Convergência: Em alta exposição (1500 caracteres), a fidelidade do braço ingênuo converge com o braço oráculo (diferença $\approx 0,001$ ). Isso indica que a fidelidade é limitada por quanto da fonte o modelo vê, não pelo fato de a fonte ser o artigo "ouro" correto.
- Custo: Este aumento custa aproximadamente 235 tokens de saída adicionais por tarefa, uma fração negligenciável do orçamento.
Limites de Cobertura de Recuperação:
- A Cobertura Confiável permanece baixa e constante através dos níveis de exposição para o braço ingênuo (pairando próximo a 0,22).
- Isso ocorre porque o recall de citação é determinado na etapa de recuperação (mantido próximo a 0,40) antes do gerador escrever. Aumentar a exposição não pode corrigir o fato de que as fontes corretas nunca foram apresentadas.
- O braço Oráculo alcança maior cobertura (até 0,33) simplesmente porque ignora o gargalo da recuperação, não devido à exposição.
Ineficácia do Reparo Pós-Geração:
- Mecanismos de reparo (filtragem, revisão) melhoraram a fidelidade ao descartar afirmações não sustentadas, mas simultaneamente reduziram o recall de citação.
- Consequentemente, a Cobertura Confiável não melhorou; permaneceu próxima de 0,19–0,20, confirmando que o reparo não pode recuperar o embasamento perdido durante a recuperação ou a geração inicial.
Robustez:
- O aumento da exposição e a convergência dos braços foram replicados usando um segundo juiz independente (HHEM), confirmando que os achados não são artefatos de um único modelo de pontuação.

Significância e Alegações

O artigo alega fornecer um "mapa de onde a confiabilidade deve vir" para agentes de pesquisa on-device, em vez de um sistema pronto para uso imediato. Suas principais contribuições são:

Desacoplamento de Métricas: Demonstra que reportar uma única pontuação de citação é enganoso. Alta fidelidade com baixo recall indica um agente citando confiantemente as fontes erradas. O estudo defende o reporte do trio: fidelidade, recall e cobertura confiável.
A Alavanca de Exposição: Para modelos pequenos (4B), o principal gargalo para a fidelidade é a exposição de entrada, não a capacidade do modelo. Um modelo 4B fixo pode sustentar afirmações sobre fontes recuperadas tão bem quanto sobre fontes ouro se lhe for dado contexto suficiente (1500 caracteres).
A Alavanca de Recuperação: A cobertura é estritamente limitada pela etapa de recuperação. Nenhuma quantidade de ajuste de geração ou exposição pode compensar o recall de recuperação perdido.
Receita Prática: O estudo propõe uma ordem de construção específica para agentes implantáveis:
1. Primeiro: Aumentar a exposição por fonte (barato, eficaz para fidelidade).
2. Segundo: Melhorar o recall de recuperação (a única alavanca restante para cobertura confiável).
Modéstia: Os autores declaram explicitamente que os níveis absolutos de desempenho são modestos (fidelidade ~0,58, cobertura ~0,22–0,33). O agente 4B ainda não é um "citador confiável", mas o estudo esclarece que o caminho para a confiabilidade reside na exposição e na recuperação, não simplesmente em escalar o tamanho do modelo ou adicionar loops de reparo.

O artigo conclui que, para um agente 4B em um laptop, a qualidade da citação não é um problema monolítico, mas sim um problema dividido: a exposição resolve o problema do "suporte", enquanto a recuperação resolve o problema da "correção".