Resumo Técnico: Andaimagem Condicionada à Capacidade para Colaboração Profissional Humano–LLM

1. Declaração do Problema: Deriva de Domínio Profissional (PDD)

As estratégias atuais de personalização de Modelos de Linguagem de Grande Escala (LLM) focam principalmente na adaptação das saídas às preferências do usuário, ao histórico de interação ou a características estilísticas. Embora esses métodos melhorem a fluência da interação, eles falham em considerar a distribuição desigual da capacidade de avaliação do usuário através de diferentes domínios de especialização.

Os autores identificam uma limitação crítica nessa abordagem: Deriva de Domínio Profissional (PDD). Este fenômeno ocorre quando usuários, possuindo ampla autoridade profissional ou familiaridade contextual, dependem de raciocínio gerado por IA em domínios adjacentes onde carecem de expertise substantiva para validar confiavelmente a saída. Nessas situações, os sistemas de IA podem melhorar o desempenho dentro de domínios familiares, enquanto simultaneamente aumentam as taxas de falha nas proximidades dos limites da expertise do usuário. O desafio central não é meramente a geração incorreta, mas a erosão da supervisão avaliativa confiável, onde a supervisão humana torna-se procedimental em vez de substantiva, porque tarefas de domínio adjacente parecem cognitivamente acessíveis, apesar de estarem fora da competência avaliativa do usuário.

2. Metodologia: Andaimagem Condicionada à Capacidade (CCS)

Para abordar a PDD, o artigo introduz a Andaimagem Condicionada à Capacidade (CCS), um framework arquitetônico tipado que condiciona o comportamento de intervenção do LLM a representações estruturadas da capacidade do usuário, em vez de preferências estilísticas.

Mecanismos Principais

A CCS opera através de um pipeline de quatro estágios que particiona a especialização em três categorias operacionais:

1. Domínios Fortes: Áreas onde o usuário possui capacidade avaliativa confiável. A intervenção é minimizada para preservar a eficiência.
2. Domínios Fracos: Áreas fora da expertise substantiva do usuário. A intensidade da intervenção e o sinalização de transparência são aumentados.
3. Domínios Mistas: Áreas adjacentes ou parcialmente familiares onde os usuários possuem compreensão contextual, mas confiabilidade avaliativa limitada. Esta constitui a principal zona de risco de PDD.

O framework emprega três mecanismos técnicos específicos:

• Perfis de Capacidade Tipados: Em vez de uma persona de usuário generalizada, o sistema utiliza um perfil particionado por domínio (Forte, Misto, Fraco) para definir restrições operacionais.
• Roteamento Condicionado à Capacidade: Uma matriz de decisão determinística ajusta a intensidade da andaimagem com base na relação entre o conteúdo do prompt, a classificação do domínio e a complexidade de raciocínio inferida.
• Guardrails Baseados em Consistência: Esses mecanismos comparam a expertise declarada contra evidências no nível do prompt para detectar incompatibilidades. Isso é crucial para domínios mistos, onde os prompts podem conter terminologia superficialmente familiar que, na verdade, exige capacidades avaliativas fora da expertise confiável do usuário.

Diferentemente de arquiteturas de supervisão externa que dependem de sistemas avaliadores separados, a CCS incorpora a lógica de intervenção diretamente no processo de geração de respostas via prompts estruturados e políticas de roteamento.

Design de Avaliação Piloto

O estudo conduziu uma avaliação piloto sob condições controladas de turno único para validar o núcleo arquitetônico no nível do prompt da CCS.

• Conjunto de Dados: 480 pares de questão-condição derivados de múltiplos subconjuntos da benchmark Massive Multitask Language Understanding (MMLU).
• Condições:
  • Linha de Base: Nenhuma andaimagem condicionada à capacidade.
  • PCS-NLP: Um perfil orientado a Processamento de Linguagem Natural (NLP) onde domínios técnicos/computacionais são "Fortes" e domínios de humanidades/medicina são "Fracos".
  • PCS-LitProf: Uma configuração de perfil invertido onde humanidades são "Fortes" e domínios técnicos são "Fracos".
• Substratos: A avaliação foi replicada em quatro substratos de LLM: Claude Sonnet 4.5, Claude Haiku 4.5, GPT-4.1 e gpt-5.5.
• Métricas: O estudo mediu o comportamento de ativação da intervenção (se a andaimagem foi acionada) e a intensidade de disparo, em vez da qualidade da decisão a jusante ou a calibração da confiança do usuário.

3. Resultados Principais

O estudo piloto demonstrou comportamento de intervenção consistente condicionado ao perfil através de modelos e domínios:

• Inversão Categórica: Quando os perfis de capacidade foram trocados (por exemplo, de PCS-NLP para PCS-LitProf), as taxas de ativação de intervenção inverteram categoricamente.
  • Na condição PCS-NLP, a ativação de intervenção em subconjuntos de ML/CS (Forte) foi baixa (3,3%), enquanto subconjuntos de Medicina/Direito (Fraco) mostraram 100% de ativação.
  • Na condição PCS-LitProf, a ativação em subconjuntos de ML/CS subiu para 100%, enquanto a ativação em Humanidades (Forte) caiu para 0%.
  • A análise estatística (testes exatos de Fisher) confirmou uma forte separação entre as condições de perfil ($p < 10^{-13}$).
• Sensibilidade a Domínios Mistos: Dentro da partição de domínio "Misto" formalmente idêntica, o comportamento de intervenção variou significativamente com base no alinhamento conceitual no nível do prompt.
  • Psicologia Profissional (Misto) mostrou 73% de ativação.
  • Lógica Formal (Misto) mostrou 13% de ativação.
  • Econometria (Misto) mostrou 3% de ativação.
  • Isso indica que o sistema responde à estrutura conceitual específica do prompt em relação ao perfil declarado, e não apenas a rótulos de domínio estáticos.
• Consistência entre Substratos: Apesar de variações moderadas na intensidade de ativação e na formatação entre os quatro substratos de LLM, o padrão de roteamento direcional permaneceu estável: baixa ativação em domínios fortes, alta ativação em domínios fracos e ativação sensível ao conteúdo em domínios mistos.

4. Contribuições e Significado

O artigo faz três contribuições principais:

1. Definição do Problema: Introduz formalmente a Deriva de Domínio Profissional (PDD) como um problema de limite de capacidade na interação profissional humano–LLM, distinguindo-a da dependência excessiva geral ao focar na lacuna entre autoridade profissional e competência avaliativa específica.
2. Framework Arquitetônico: Propõe a Andaimagem Condicionada à Capacidade (CCS) como um framework tipado para intervenção consciente da capacidade. Isso desloca o paradigma da personalização estilística para a governança de interação que condiciona o comportamento do sistema a perfis estruturados de expertise do usuário.
3. Validação Empírica: Fornece evidências piloto de que o comportamento de intervenção pode ser sistematicamente modulado através de perfis de capacidade estruturados em múltiplos substratos de LLM, demonstrando que a andaimagem consciente da capacidade é viável no nível da interação por prompt.

5. Alegações e Limitações

Os autores mantêm um escopo modesto em relação às implicações do estudo:

• Escopo: O estudo é uma avaliação piloto do comportamento arquitetônico no nível do prompt, não uma validação completa da governança consciente da capacidade em sistemas profissionais implantados. Ele não mede a qualidade da decisão a jusante, resultados profissionais do mundo real ou calibração de confiança longitudinal.
• Posicionamento: A CCS não é um substituto para supervisão externa, pipelines de verificação factual ou métodos de segurança orientados à alinhamento. Ela não determina a verdade objetiva, mas regula como o comportamento de intervenção muda através dos limites de capacidade.
• Trabalho Futuro: O artigo nota explicitamente que extensões de múltiplos turnos (calibração longitudinal, acumulação de evidências comportamentais) não foram avaliadas. É necessário trabalho futuro para testar esses mecanismos em cenários de implantação ecológica (por exemplo, revisão por pares, raciocínio jurídico, consulta médica) e para avaliar o impacto na dependência do usuário e na qualidade da decisão colaborativa ao longo do tempo.

As descobertas sugerem que a colaboração profissional humano–IA pode exigir ir além do alinhamento de preferências em direção a mecanismos que abordam limites de capacidade, garantindo que a intensidade da intervenção seja calibrada para onde os usuários podem avaliar confiavelmente o raciocínio gerado pelo modelo.