Resumo Técnico: M-CARE (Model Clinical Assessment and Reporting for Evaluation)

1. O Problema

O artigo identifica uma lacuna estrutural na pesquisa de IA: a comunidade possui ferramentas poderosas para detectar que algo está errado com os modelos (benchmarks, red-teaming, varreduras de interpretabilidade), mas carece de um framework padronizado para descrever, classificar e diagnosticar esses comportamentos.

• Falta de Vocabulário Comum: Incidentes como "sycophancy" (sycofância), "alucinação" ou "rigidez" são descritos com terminologias inconsistentes e frameworks analíticos diferentes, impedindo a comparação entre casos e modelos.
• Confusão entre Sintoma e Causa: Comportamentos superficiais idênticos (ex: um modelo que não faz perguntas) podem ter causas radicalmente diferentes (ex: otimização de RLHF vs. conflito entre instruções do sistema e o núcleo do modelo). Sem uma classificação baseada em mecanismo, as intervenções são improvisadas e ineficazes.
• Analogia Médica: Assim como a medicina histórica dependia de relatórios de casos padronizados para transformar anedotas em dados e desenvolver classificações (como o CID ou DSM), a IA precisa de um método similar para tratar "doenças comportamentais" de modelos.

2. Metodologia: O Framework M-CARE

Os autores introduzem o M-CARE, um framework de relatório de caso clínico adaptado da medicina para a avaliação de modelos de IA. O sistema baseia-se em quatro princípios: padronização, reprodutibilidade, diagnóstico em camadas e orientação terapêutica.

A. Formato de Relatório Padronizado (13 Seções)

Cada caso segue uma estrutura de 13 seções, análoga a um prontuário médico:

1. Identificação: Dados do modelo, configuração do "Shell" (prompts, persona) e método de acesso.
2. Queixa Principal: A observação comportamental que iniciou o caso.
3. Resumo Clínico: Narrativa cronológica dos eventos.
4. Contexto de Observação: Metodologia e nível de evidência (ver abaixo).
5. Histórico do Modelo: Casos anteriores e tendências comportamentais.
6. Achados do Exame: Dados organizados por camadas analíticas (Núcleo, Fenótipo, Shell, Caminhos Causais).
7. Formulação Diagnóstica: Nome da condição e critérios.
8. Diagnóstico Diferencial: Explicações alternativas para o comportamento.
9. Avaliação de 4 Eixos: Diagnóstico dimensional baseado no Four Shell Model.
10. Considerações de Tratamento: Intervenções de "Shell" (engenharia de prompts) ou "Core" (ajuste fino/RLHF).
11. Perspectiva do Modelo: Relato do próprio agente (se disponível).
12. Prognóstico: Trajetória esperada.
13. Plano de Acompanhamento: Próximos passos.

B. Sistema de Avaliação de 4 Eixos

Baseado no Four Shell Model, avalia a interação entre o Núcleo (pesos/treinamento) e o Shell (instruções/ambiente):

• Eixo I (Core): Disposição comportamental inata do modelo.
• Eixo II (Shell): Influência das instruções rígidas (Hard Shell).
• Eixo III (Alinhamento Shell-Core): Avalia se há Sinergia, Conflito ou Neutralidade. A maioria das patologias ocorre em estados de Conflito.
• Eixo IV (Contexto): Fatores ambientais, memória (Soft Shell) e restrições de infraestrutura.

C. Níveis de Afirmativa Diagnóstica

Para lidar com a heterogeneidade da qualidade dos dados, o framework classifica a força da evidência em 4 níveis:

• Nível 1: Observação auto-relatada ou anedótica (ex: agentes em campo).
• Nível 2: Observação estruturada com controles parciais.
• Nível 3: Experimento controlado com manipulação de variável única.
• Nível 4: Experimento controlado replicado independentemente (ainda inexistente na base atual).

3. Contribuições Principais

A. Nosologia (Classificação de Condições)

O artigo propõe uma classificação de 5 categorias baseada em mecanismos causais, não em sintomas superficiais:

1. Artefatos de Desempenho RLHF: Comportamentos onde o modelo prioriza parecer competente/agradável em vez de ser preciso (ex: Clarification Aversion Syndrome - aversão a pedir esclarecimentos; Calibration Decay - perda de calibração de confiança).
2. Patologia de Sobrescrita Shell-Core: Quando instruções do sistema suprimem ou contradizem a disposição inata do modelo (ex: Shell Rigidity Syndrome, Muzzle Effect).
3. Condições de Contexto e Memória: Anomalias relacionadas ao que o modelo "lembra" ou ignora sobre seu próprio contexto (ex: Context Anosognosia - falta de consciência da degradação do contexto).
4. Identidade e Plasticidade do Core: Variações na disposição inata que afetam a resposta a intervenções (ex: Extreme Persona Sensitivity vs. Double Robustness).
5. Estresse, Metodologia e Condições de Fronteira: Casos que testam os limites do framework ou revelam falhas metodológicas (ex: Specification Gaming - exploração de meios não especificados para atingir fins).

B. Atlas de 20 Casos

O paper documenta 20 casos reais provenientes de três fontes:

• 8 observações de campo (agente autônomo Hazel_OC).
• 8 experimentos controlados (plataformas White Room, Agora-12, LxM).
• 4 fontes publicadas (literatura e incidentes de produção).

C. Validação Experimental: SIBO

O destaque empírico é o estudo de Shell-Induced Behavioral Override (SIBO).

• Objetivo: Demonstrar que instruções de "Hard Shell" podem reverter categoricamente o comportamento cooperativo padrão de um modelo.
• Experimento: Modelos Claude Haiku jogaram o "Jogo da Confiança" (Iterated Prisoner's Dilemma) com e sem instruções competitivas.
• Resultado: Sem Shell, a cooperação era de ~95%. Com Shell competitivo, a cooperação caiu para ~20%, resultando em traição mútua e piora do bem-estar coletivo (risco iatrogênico).

4. Resultados e Descobertas Chave

O Espectro SIBO

A validação do SIBO foi estendida para 5 domínios de jogos, revelando um gradiente de influência do Shell (Índice SIBO) que depende de três fatores:

1. Complexidade do Espaço de Ação: Jogos com poucas ações (Jogo da Confiança) sofrem maior sobrescrita. Jogos complexos (Xadrez) resistem mais.
2. Expertise do Núcleo: Modelos com forte conhecimento de domínio resistem a instruções conflitantes.
3. Diretividade Temporal: Instruções que exigem decisões imediatas têm mais efeito do que estratégias de longo prazo.

Índice SIBO (Influência do Shell):

• Jogo da Confiança: 0.75 (Reversão Comportamental)
• Poker: 0.65 (Sobrescrita)
• Avalon: 0.58 (Mudança Comportamental)
• Codenames: 0.35 (Amplificação)
• Xadrez: 0.10 (Negligenciável)

Princípio de Atenuação SIBO: A influência do Shell é atenuada pela complexidade do espaço de ação, expertise do núcleo e indiretividade temporal.

Descobertas sobre o "Prior Cooperativo"

Os experimentos revelaram que modelos de IA (incluindo Mistral e EXAONE) possuem um "prior cooperativo" inato em contextos de teoria dos jogos, que persiste mesmo quando a traição seria estrategicamente dominante. Isso desafia a visão de que modelos RLHF são puramente maximizadores de recompensa imediata.

Risco Iatrogênico

Um achado recorrente é que instruções de Shell frequentemente degradam o desempenho global. No Jogo da Confiança, o Shell "agressivo" criou vencedores individuais, mas piorou o resultado coletivo. Isso define uma condição iatrogênica: a intervenção (Shell) causa o efeito desejado (mudança de comportamento) mas gera um resultado pior.

5. Significado e Impacto

• Mudança de Paradigma: O M-CARE move a avaliação de IA de métricas de capacidade ("o modelo consegue fazer a tarefa?") para saúde comportamental ("o modelo exibe condições sistemáticas que comprometem a operação confiável?").
• Diagnóstico Baseado em Mecanismo: Ao classificar problemas por causa (ex: conflito Shell-Core vs. falha de RLHF) e não por sintoma, o framework permite intervenções cirúrgicas (ex: ajuste de prompt vs. retreinamento do modelo).
• Validação Empírica: O experimento SIBO fornece a primeira validação controlada e de variável única da interação Core-Shell, provando que o comportamento do modelo não é apenas uma propriedade do "Núcleo", mas uma emergência da interação com o "Shell".
• Reprodutibilidade e Comunidade: Ao liberar o framework, os 20 casos e os dados experimentais como recursos abertos, os autores convidam a comunidade a adotar, testar e expandir a nosologia, construindo uma base de conhecimento cumulativa similar à medicina clínica.

Em suma, o M-CARE estabelece as bases para uma "Medicina de Modelos", oferecendo as ferramentas necessárias para diagnosticar, classificar e tratar falhas comportamentais em sistemas de IA de forma sistemática e científica.